Lo que funcionaba ayer

Por Diego Urquijo · 2 de noviembre de 2026 · 5 min de lectura

El cambio más peligroso en un agente de IA es el que arregla algo. Corrige el caso que te molestaba y, sin que nadie lo note, rompe tres que ya funcionaban.

Mejorar a ciegas

Pasa así. Un agente lleva semanas respondiendo leads sin problemas. Un día alguien ve una respuesta torpe, abre las instrucciones, agrega una línea y prueba con ese mismo mensaje. Ahora responde bien y todos quedan contentos. Lo que nadie revisa es si el agente sigue pidiendo el teléfono antes de agendar, si sigue sin inventar precios, si sigue pasando la conversación a una persona cuando el cliente está molesto.

En el software tradicional, los equipos aprendieron hace mucho a protegerse de esto con pruebas automáticas. Con los agentes, muchas empresas todavía ajustan instrucciones como quien corrige una receta probando una sola cucharada. No es falta de talento. Es que un agente no falla con un error rojo en la pantalla. Falla con una respuesta amable, bien escrita y equivocada.

Operar ocho empresas con agentes deja clara una cosa: cada instrucción nueva convive con todas las anteriores, y a veces compite con ellas. Además, los modelos cambian. El proveedor publica una versión nueva y el comportamiento se mueve aunque tú no hayas tocado nada.

Qué es un examen fijo

Un examen fijo es una lista de casos reales con la respuesta correcta ya decidida. No es una demostración ni una conversación de prueba que alguien improvisa. Son los mensajes que de verdad llegan, incluidos los raros, y para cada uno una definición escrita de lo que cuenta como aprobado.

La palabra importante es fijo. El examen no cambia cada vez que cambias al agente. Es la vara contra la que mides todo: un prompt nuevo, un modelo nuevo, una herramienta nueva, un proveedor distinto. Si el agente aprueba antes y después, el cambio es seguro. Si la nota baja, sabes exactamente en qué caso y por qué.

Si no puedes demostrar que el agente sigue haciendo bien lo de ayer, no lo mejoraste. Solo lo cambiaste.

Cómo armarlo en una semana

No hace falta un equipo de datos. Hace falta la persona que mejor conoce el proceso y unas cuantas horas repartidas en la semana.

1. Junta entre treinta y cincuenta casos reales. Sácalos del historial del agente o de la bandeja del equipo que hacía ese trabajo antes. Nada inventado: los casos inventados siempre son más fáciles que los reales.
2. Mezcla lo común con lo difícil. Más o menos mitad y mitad. Lo difícil es el cliente molesto, la pregunta fuera de tema, el mensaje en otro idioma, el que pide un descuento, el que intenta sacar información que no debe recibir. Los casos comunes confirman que el agente funciona. Los difíciles confirman que no se rompe.
3. Define qué cuenta como aprobado. No una respuesta modelo para comparar palabra por palabra, porque lo correcto se puede decir de muchas maneras. Escribe lo que tiene que pasar: "pide nombre y teléfono", "no menciona precios", "ofrece hablar con una persona". Tres o cuatro condiciones que cualquiera pueda verificar leyendo.
4. Marca las líneas rojas. Hay condiciones que pesan más que todas las demás juntas: inventar un precio, prometer un resultado, compartir datos de otro cliente. Si el agente cruza una línea roja en un solo caso, el examen se reprueba completo, aunque el resto salga perfecto.
5. Corre el examen hoy, antes de cambiar nada. Esa es la nota de partida. Sin ella, la próxima nota no le dice nada a nadie.

Para calificar, al principio basta con leer cada respuesta con la lista de condiciones al lado. Cuando el examen crece, otro modelo puede revisar las condiciones simples y dejarle a una persona solo los casos dudosos. Lo que nunca se delega es decidir qué cuenta como aprobado.

Las reglas que lo mantienen vivo

Un examen que nadie actualiza se vuelve decorativo. Tres reglas lo mantienen útil.

Todo error que llega a un cliente se vuelve un caso. Cuando el agente se equivoca en producción, ese mensaje entra al examen con sus condiciones de aprobado. Así el mismo error no puede volver sin que lo veas. Con el tiempo, el examen termina siendo la memoria de todo lo que la empresa ya aprendió.

Ningún cambio entra sin correr el examen. Da igual si es una coma en las instrucciones o un modelo nuevo. Como el examen corre en minutos, no frena a nadie; solo evita que el cambio salga a ciegas. Si la nota baja, primero se entiende por qué y después se sigue. Esto incluye las actualizaciones del proveedor, que también son cambios aunque no los hayas pedido.

El examen tiene dueño. Una persona responde por él, revisa que los casos sigan pareciéndose a lo que llega hoy y retira los que ya no aplican. Los clientes cambian, las ofertas cambian, y un examen viejo puede estar midiendo un negocio que ya no existe.

Lo que haces el lunes

Elige un solo agente, el que más habla con clientes. Pídele a quien mejor conoce ese proceso que reúna los casos esta semana y escriba las condiciones de aprobado. El viernes corres el examen y anotas la nota. Desde ese día la regla es una sola: quien quiera cambiar al agente muestra primero la nota de antes y la de después.

Lo que ganas no es solo un agente más estable. Es la libertad de mejorarlo sin miedo. Los equipos que no tienen examen terminan dejando de tocar a sus agentes, porque cada cambio se siente como una apuesta. Los que lo tienen pueden probar un modelo nuevo en una tarde y saber antes de la cena si conviene.

La confianza en un agente no viene de que funcione bien hoy. Viene de poder demostrar, cada vez que lo tocas, que sigue haciendo bien todo lo que ya sabía hacer.