Saltar al contenido principal
Benchmarks está en vista previa y se habilita para las organizaciones de forma gradual. Si todavía no ves Benchmarks en la barra lateral, aún no está habilitado para tu organización.
Un benchmark es un conjunto versionado de casos más los jueces que los evalúan. Lo ejecutas contra uno o más candidatos (un modelo, una revisión de prompt, o ambos) y lees los resultados lado a lado, así que un mismo benchmark responde “¿qué modelo?” y “¿qué revisión de prompt?” sobre los mismos casos. Un benchmark es LLM (¿el agente produce la respuesta o la llamada a herramienta correcta?) o STT (¿el motor de transcripción acierta las palabras?), y se asigna a uno o más agentes.

​
Casos

Un caso es una entrada más su resultado esperado. Hay tres tipos: Agrega casos desde conversaciones y trazas de producción, a mano, subiendo audio o por código. Para crear casos desde tu propio código o desde un cliente de IA, consulta Crear casos con la API.

​
Jueces

Los jueces se definen una vez en el benchmark y se aplican a todos los casos: jueces LLM (un LLM califica según una rúbrica), jueces de código (TypeScript en un sandbox) y jueces integrados (coincidencia exacta o por regex, contiene, tasa de error de palabras y verificaciones de llamadas a herramientas). Un caso puede omitir un juez no obligatorio o cambiar los parámetros de un juez solo para ese caso.

​
Versiones

Cada cambio en casos, jueces o grupos va al borrador del benchmark. Publicar congela el borrador en la siguiente versión (v1, v2, …), y las ejecuciones usan por defecto la última versión publicada, así que dos ejecuciones de la misma versión siempre son comparables.

​
Contenido relacionado

  • Simulaciones prueban un prompt contra usuarios sintéticos; los benchmarks comparan varios candidatos sobre los mismos casos.
  • Experimentos comparan versiones con tráfico real de producción.
  • MCP permite que Claude, Cursor u otro cliente construya y ejecute benchmarks por ti.