> ## Documentation Index
> Fetch the complete documentation index at: https://docs.zelto.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Benchmarks

> Compara modelos y revisiones de prompt sobre el mismo conjunto de casos, evaluados por los mismos jueces, antes de cambiar producción.

> [!NOTE]
>
> Benchmarks está en vista previa y se habilita para las organizaciones de forma
> gradual. Si todavía no ves **Benchmarks** en la barra lateral, aún no está
> habilitado para tu organización.

Un **benchmark** es un conjunto versionado de **casos** más los **jueces** que
los evalúan. Lo ejecutas contra uno o más **candidatos** (un modelo, una
revisión de prompt, o ambos) y lees los resultados lado a lado, así que un mismo
benchmark responde "¿qué modelo?" y "¿qué revisión de prompt?" sobre los mismos
casos.

Un benchmark es **LLM** (¿el agente produce la respuesta o la llamada a
herramienta correcta?) o **STT** (¿el motor de transcripción acierta las
palabras?), y se asigna a uno o más [agentes](https://docs.zelto.ai/es/docs/agents.md).

## Casos

Un caso es una entrada más su resultado esperado. Hay tres tipos:

| Tipo | Qué prueba |
| - | - |
| `turn` | Una generación del LLM: dada la conversación hasta ese punto, producir la siguiente respuesta y/o llamada a herramienta. |
| `conversation` | Un llamante simulado (persona, objetivo, frase inicial) habla con el candidato hasta que la conversación termina. Las herramientas se simulan, nunca se ejecutan. |
| `audio` | Un clip de audio y su transcripción de referencia, para benchmarks STT. |

Agrega casos desde [conversaciones](https://docs.zelto.ai/es/docs/conversations.md) y
[trazas](https://docs.zelto.ai/es/docs/traces.md) de producción, a mano, subiendo audio o por código.
Para crear casos desde tu propio código o desde un cliente de IA, consulta
[Crear casos con la API](https://docs.zelto.ai/es/docs/benchmarks/cases-api.md).

## Jueces

Los jueces se definen una vez en el benchmark y se aplican a todos los casos:
**jueces LLM** (un LLM califica según una rúbrica), **jueces de código**
(TypeScript en un sandbox) y **jueces integrados** (coincidencia exacta o por
regex, contiene, tasa de error de palabras y verificaciones de
[llamadas a herramientas](https://docs.zelto.ai/es/docs/tool-calls.md)). Un caso puede omitir un juez
no obligatorio o cambiar los parámetros de un juez solo para ese caso.

## Versiones

Cada cambio en casos, jueces o grupos va al **borrador** del benchmark.
**Publicar** congela el borrador en la siguiente versión (v1, v2, …), y las
ejecuciones usan por defecto la última versión publicada, así que dos
ejecuciones de la misma versión siempre son comparables.

## Contenido relacionado

* [Simulaciones](https://docs.zelto.ai/es/docs/simulations.md) prueban un prompt contra usuarios
  sintéticos; los benchmarks comparan varios candidatos sobre los mismos casos.
* [Experimentos](https://docs.zelto.ai/es/docs/experiments.md) comparan versiones con tráfico real de
  producción.
* [MCP](https://docs.zelto.ai/es/docs/mcp.md) permite que Claude, Cursor u otro cliente construya y
  ejecute benchmarks por ti.


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.