El trabajo de IA que empieza después de construir el agente: mantenerlo fiable en producción

TL;DR. Casi toda conversación sobre agentes de IA gira en torno a construir uno: si se puede, con qué rapidez, con qué ingenio. Esa es la mitad fácil. La mitad difícil empieza el día que el agente entra en producción y empieza a actuar sobre trabajo real, dinero real y clientes reales, mes tras mes. Mantenerlo fiable ahí es una disciplina distinta, y es la que casi nadie explica. Se reduce a cuatro preguntas: cuánta supervisión humana hay entre el agente y producción, qué impide que gaste dinero sin sentido, qué detiene los errores que la velocidad deja pasar y quién responde cuando se equivoca. Este es el mapa.

La demo no es el trabajo

Existe todo un género de contenido sobre IA construido enteramente alrededor del momento de la creación. Un agente escribe una aplicación, hace mil commits durante la noche, pasa todas las pruebas. Impresionante, y fuera de lugar. Una demo demuestra que un agente puede hacer algo una vez, bajo mirada atenta, sin nada en juego. Producción pregunta algo más difícil: ¿seguirá haciendo lo correcto cuando nadie lo vigile de cerca, cuando los datos de entrada cambien, cuando aparezca un caso raro a las dos de la madrugada, cuando lleve seis meses funcionando?

Los números dicen que ahí es exactamente donde se rompe. El estudio del MIT de 2025 (proyecto NANDA) encontró que cerca del 95% de los pilotos de IA generativa nunca llegan a generar retorno en producción, y la razón que da no es que la tecnología no pueda hacer el trabajo. Es organizativa: los sistemas se lanzan una vez y nunca se adaptan a lo que ocurre después del lanzamiento. Gartner prevé que más del 40% de los proyectos de IA agéntica se cancelen antes de que termine 2027, por coste, valor poco claro y controles de riesgo insuficientes. Cada uno de esos es un fallo posterior al despliegue, no un fallo de construcción. Construir nunca fue la parte difícil.

Así que la pregunta útil no es "¿podemos construir un agente de IA?". Casi cualquiera puede hacerlo ya. La pregunta es "¿podemos mantenerlo fiable una vez esté en producción?", y tiene cuatro partes.

Pregunta 1: ¿Cuánta persona hay entre el agente y producción?

Esta es la pregunta de supervisión, y es la base, porque marca el techo de cuánto puede costar un error. Un agente que una persona revisa antes de que nada salga a producción puede equivocarse barato. Un agente que publica sin supervisión puede equivocarse caro, en silencio y de forma repetida.

Lo situamos en una escala que llamamos La Escalera de Supervisión, cinco niveles desde un agente que solo sugiere hasta uno que corre por completo sin supervisión. El objetivo de la escalera no es subirla. Más alto significa menos supervisión, no mejor trabajo. Lo importante es que trabajos distintos pertenecen a niveles distintos, y el fallo de producción más común es hacer correr un trabajo uno o dos niveles por encima de lo que sus riesgos permiten. Todo lo que toca dinero, seguridad o datos de clientes pertenece a un nivel donde una persona y controles automáticos siguen entre el agente y el mundo real.

Pregunta 2: ¿Qué impide que gaste dinero real en nada?

Un agente autónomo es un proceso que cuesta dinero en cada paso, haya servido ese paso para algo o no. En una demo eso es invisible. En producción es una partida de gasto, y puede dispararse.

Lo hemos visto con nuestros propios agentes. En una ejecución, un agente pasó 239 pruebas y no entregó nada que funcionara, porque un detalle del mundo real falló en silencio de una forma que ninguna prueba detectó. Todo en verde, e inútil: pagamos por un resultado convincente que valía cero, y sin una persona vigilando, no lo habríamos sabido hasta que importara. En otra, un límite de gasto fijado en un euro al día terminó superado hasta casi el doble, porque el control miraba el dinero ya gastado en lugar del peor caso todavía comprometido. Cifras pequeñas, a propósito, porque estábamos probando. Apúntalas a un presupuesto real corriendo toda la noche y dejan de ser pequeñas.

Este es el coste oculto del género "déjalo corriendo", del que hablamos con más detalle en el bucle Ralph Wiggum y lo que cuesta. La tecnología es barata. Un error sin vigilar, repetido a velocidad de máquina contra una cuenta real, no lo es.

Pregunta 3: ¿Qué detiene el error que la velocidad deja pasar?

Los agentes son rápidos, y la velocidad oculta errores que una persona más lenta habría detectado. Así que la capa de revisión no es un formalismo que se añade al final. En producción, es el producto.

Lo medimos con nosotros mismos. En una de nuestras propias ejecuciones, un equipo de agentes entregó diecisiete cambios con su propia revisión automática en verde, y una revisión humana posterior encontró dieciséis problemas, siete de ellos graves: un paso de pago que podía ejecutarse dos veces, un control de permisos saltado en silencio, un mismo error de índice copiado en tres sitios distintos, y contraseñas de desarrollo que habrían funcionado en producción. Nada de esto significa que los agentes fueran malos. Significa que, a esa velocidad y sin una capa de revisión real, todo eso habría llegado a un cliente. Fiabilidad en producción no es la ausencia de errores, que es imposible. Es un muro contra el que el error choca de forma fiable antes de que alguien de fuera lo vea.

Pregunta 4: ¿Quién responde, y cumple con tus obligaciones?

La última pregunta es la que convierte un sistema técnico en algo que un negocio puede realmente operar. Cuando un agente se equivoca, ¿quién responde? Y todo el conjunto, ¿cumple las normas bajo las que operas: protección de datos, regulación del sector y, según el país, derecho laboral?

Esto no es igual en todas partes, y precisamente por eso el contenido genérico sobre IA lo omite. En España, por ejemplo, incorporar un sistema de IA toca el RGPD y los acuerdos de tratamiento de datos, puede requerir consultar al comité de empresa según qué decisiones afecte, y plantea de quién es la propiedad del código que genera el sistema. Un proveedor que no sabe responder a la pregunta de responsabilidad, o la aparta con un "ya lo resolveremos", te está diciendo que ha construido demos, no sistemas de producción que alguien tuvo que respaldar.

Las cuatro preguntas, juntas

Fíjate en lo que tienen en común. Ninguna trata de lo avanzada que es la IA. Todas tratan del mecanismo que la rodea. Ese es el cambio completo: en una demo, el agente es el producto. En producción, el andamiaje de confianza es el producto, y el agente es solo la parte que escribe.

Lo único que hay que llevarse de esto

Si estás evaluando a alguien para construir y operar IA por ti, nosotros incluidos, la pregunta que atraviesa cualquier propuesta no es "qué buena es tu IA". Es "¿qué pasa cuando se equivoca, en producción, y nadie está mirando?". Una buena respuesta es concreta y poco vistosa: el nivel de autonomía se elige a propósito, el gasto está limitado pensando en el peor caso, una capa de revisión real está entre el agente y el cliente, y alguien responde cuando falla. Una respuesta débil es la promesa de que la IA casi nunca se equivoca. La primera es un sistema en el que puedes confiar tu negocio. La segunda es una demo con factura, y la diferencia solo se nota después de haber firmado.

Construimos software de IA que corre en producción, con el andamiaje de confianza que describe este artículo, porque para nosotros ese andamiaje es el trabajo. Si quieres que situemos tus propios agentes frente a estas cuatro preguntas con honestidad, para eso sirve una primera conversación.