Modo sombra
A un empleado nuevo nadie le entrega el teléfono el primer día. Lo sientas al lado de alguien que ya sabe, y mira. Con un agente de IA deberíamos hacer exactamente lo mismo, y casi nadie lo hace.
El patrón que más veo en empresas que adoptan IA es este: se configura el agente, se prueba con cinco mensajes inventados, alguien dice que funciona bien y se enciende. A partir de ahí la empresa aprende en vivo, con clientes reales de por medio. Cuando algo sale mal, la conclusión suele ser que la tecnología no está lista. Casi siempre lo que no estaba listo era el método de entrada.
La alternativa toma prestada la lógica del aprendiz: el modo sombra. El agente trabaja con los mismos casos que el humano, en paralelo y en tiempo real, pero nada de lo que produce llega al cliente. Al final del día, alguien compara lo que hizo la persona con lo que habría hecho el agente. Eso es todo.
Cómo funciona en la práctica
El modo sombra necesita tres piezas. Primero, la misma entrada: cada lead, correo o ticket que recibe el humano también se le entrega al agente, sin filtrar. Si solo le pasas los fáciles, aprendes poco. Segundo, una salida que no se envía: el agente redacta la respuesta, toma la decisión o clasifica el caso, y el resultado queda registrado en una hoja o en un canal interno donde nadie lo confunde con algo real. Tercero, una rutina de comparación: un rato fijo al día en que alguien que conoce el proceso revisa los pares y anota el veredicto.
Durante ese periodo el humano no cambia nada. Sigue atendiendo como siempre. Si el equipo empieza a trabajar distinto porque sabe que lo están comparando, la medición se contamina y el ejercicio pierde su valor.
Qué se compara y qué no
La tentación es comparar textos: si la respuesta del agente suena parecida a la del humano, aprobado. Ese criterio es pobre. Dos respuestas con palabras distintas pueden ser igual de buenas, y dos casi idénticas pueden diferir en el único dato que importaba.
Prefiero comparar en tres niveles. El primero es la decisión: ¿el agente y la persona llegaron a la misma conclusión? Responder o escalar, cotizar o pedir más información, agendar o descartar. El segundo es el contenido: ¿los datos que el agente usó son correctos? Precios, fechas, políticas, nombres. Un agente que decide bien pero cita mal una condición comercial es más peligroso que uno que escala de más. El tercero es el tono: ¿lo firmarías tú? Si una respuesta te daría vergüenza leída en voz alta frente al cliente, no pasa, aunque sea técnicamente correcta.
Cada desacuerdo se clasifica en uno de esos tres niveles. Al cabo de unos días aparece algo valioso: los errores se agrupan. Casi nunca son aleatorios. El agente escala demasiado los casos de un tipo, o se inventa una política que no existe porque nadie se la escribió, o es demasiado formal con un público que tutea. Cada grupo es una corrección concreta a sus instrucciones, no una queja vaga sobre que la IA no sirve.
Y hay una cuarta categoría que conviene registrar aparte: las veces que el agente lo hizo mejor que la persona. Ocurre más de lo que se espera, sobre todo en consistencia y velocidad. Esas filas son las que después convencen al equipo.
Un agente no se gana la confianza explicando lo que haría. Se la gana haciéndolo durante semanas mientras nadie depende de él.
Cuándo salir de la sombra
El error opuesto a encender demasiado pronto es no encender nunca. El modo sombra se vuelve cómodo: nadie se arriesga, el proyecto sigue vivo en el papel y el agente nunca atiende a nadie. Por eso el criterio de salida tiene que escribirse antes de empezar, no después.
El criterio no es cero errores. Un humano tampoco llega a cero. El criterio es que los errores que quedan sean conocidos, acotados y aceptables. Conocidos: sabes en qué tipo de caso falla. Acotados: ese tipo de caso se puede detectar y desviar a una persona antes de que llegue al cliente. Aceptables: el costo de que ocurra es menor que el costo de seguir haciendo todo a mano. Si puedes marcar esas tres casillas, el agente está listo para una parte del trabajo, aunque no para todo.
La salida de la sombra rara vez es total. Lo habitual es que el agente se quede con los casos donde la comparación fue limpia durante todo el periodo, y los demás sigan con el humano. Hoy en nuestras empresas hay agentes que atienden leads sin que nadie revise cada respuesta. Ese nivel de autonomía no se concede de golpe, se acumula caso por caso.
Los tropiezos típicos
Comparar contra el mejor empleado. Si el agente se mide contra la persona más experimentada del equipo, va a perder en los casos difíciles y vas a concluir que no sirve. Mídelo contra el promedio real del proceso, que es lo que va a sustituir.
Tratar la sombra como una demo. Si el periodo dura dos días y los casos son escogidos, no es sombra, es una presentación. La sombra necesita volumen y casos feos: el cliente molesto, el mensaje ambiguo, el lead que escribe a las once de la noche.
Corregir al agente a mitad de camino sin anotarlo. Cada ajuste a sus instrucciones reinicia parcialmente la medición. Está bien ajustar, pero hay que registrar la fecha y volver a contar desde ahí. Si no, al final no sabes qué versión del agente es la que aprobaste.
Apagar la comparación cuando el agente sale a producción. La sombra no termina, cambia de dirección. Cuando el agente ya atiende, el humano pasa a revisar una muestra de lo que el agente hizo. Es la misma hoja, con las columnas al revés.
Para empezar el lunes
Elige un proceso que hoy hace una persona y tiene entradas claras: leads que llegan por un formulario, correos de soporte, solicitudes de cotización. No hace falta que sea el más importante. Hace falta que tenga volumen.
- Duplica la entrada. Cada caso nuevo le llega al humano como siempre y, por otro canal, al agente.
- Abre una hoja con cinco columnas: caso, lo que hizo la persona, lo que propuso el agente, veredicto y tipo de desacuerdo (decisión, contenido o tono).
- Fija quince minutos al final de cada día para llenar el veredicto. Que lo haga alguien que conoce el proceso, no quien configuró el agente.
- Escribe hoy, antes de ver un solo resultado, el criterio de salida: qué tipos de caso le vas a entregar y con qué nivel de acuerdo.
- Al terminar el periodo, revisa los desacuerdos agrupados, corrige las instrucciones y decide qué casos pasan.
Dos o tres semanas de sombra parecen una eternidad cuando tienes prisa por automatizar. Son nada comparadas con el tiempo que se pierde apagando un agente que salió antes de tiempo, y con la confianza del equipo, que tarda mucho más en volver. El aprendiz que mira primero termina atendiendo mejor. Con los agentes pasa igual.
Cada semana publico tres piezas: construcción de empresas, filosofía práctica y tecnología aplicada.
Únete al boletín para recibirlas.