Cómo medimos la latencia del RESOLVER bi-temporal.
Última actualización: 2026-05-05
Metodología del benchmark
La latencia es la pregunta que cada ingeniero de IA en un comité de compra hace. Mycelium publica primero la metodología, segundo el harness, tercero los números. La metodología está en esta página. El harness está en el repositorio open-core ai-brain-starter bajo benchmarks/resolver. La primera corrida pública aterriza cuando memory-runtime-pro v1.0 envía.
Qué medimos
Latencia wall-clock de una query bi-temporal contra el grafo de memoria tipada. Bi-temporal significa que la query carga dos ejes de tiempo: cuándo el hecho fue verdadero (valid time) y cuándo el sistema aprendió de él (transaction time). Sub-200ms p99 contra un grafo a escala enterprise es el target público, fijado para igualar el reclamo publicado de Zep. La latencia se mide en el límite del resolver, después de la autenticación y antes de la serialización del agent runtime, así que el número es del substrato, no del stack circundante.
Corpus de prueba
El benchmark público corre contra los test fixtures de ai-brain-starter: un grafo enterprise sintético con 50,000 registros de memoria tipada, 5,000 entidades, 12,000 decisiones y 8,000 eventos abarcando 24 meses de valid time. Los fixtures envían con el repositorio para que la metodología sea reproducible por cualquiera con un git clone y un install de Postgres.
Cómo funciona el harness
- Paso 1. Carga el fixture de 50,000 registros en una base de datos Postgres limpia.
- Paso 2. Calienta el caché con un pase de lectura sobre cada registro (elimina varianza de cold-start).
- Paso 3. Corre mil queries bi-temporales contra el caché caliente, muestreadas aleatoriamente a través de dimensiones de entidad, tiempo y predicado.
- Paso 4. Registra latencia p50, p95, p99 y máxima en el límite del resolver.
- Paso 5. Repite la corrida en tres tamaños diferentes de máquina (4 cores / 16 cores / 64 cores) y publica las tres series.
- Paso 6. Re-corre en cada release tagueada de memory-runtime-pro y appendea al historial público de benchmark.
Cómo lo reproduces tú
Clona github.com/adelaidasofia/ai-brain-starter, instala el harness del resolver desde benchmarks/resolver/README.md, corre el harness contra tu propia máquina. Tus números son tuyos. Envía anomalías a contact@myceliumai.co; publicamos corridas reproducibles de terceros junto con las nuestras.
Status actual
| Versión de metodología | v1, publicada 2026-05-05 |
| Harness público | En desarrollo; envía en ai-brain-starter v0.5 |
| Primera corrida pública | Programada con el release memory-runtime-pro v1.0 |
| Target | Sub-200ms p99 a través de los tres tamaños de máquina |
| Estándar de verificación | Corridas reproducibles de terceros desde el harness público contra los fixtures públicos |
Lo que no haremos
Mycelium no publicará números de latencia desde un harness interno privado contra fixtures privados. Los números sin un harness público y un corpus público son reclamos no verificables, y el lector de Compras tiene razón al ignorarlos. La metodología aterriza primero; los números siguen cuando tanto el harness como el corpus son públicos.
Mycelium · fundada en 2026