Green AI Network funciona las 24 horas con agentes de IA repartidos entre un servidor en la nube y un nodo de GPU con energía solar. Aquí contamos las averías tal como pasaron, cada una con lo que falló, la causa, el arreglo y la prueba de que el arreglo funciona. Es lo mismo que se hace en un taller con una orden de reparación, aplicado a la IA.
Una actualización automática dejó un agente reiniciándose solo
Fallo
Uno de los agentes, Hermes, empezó a responder con error a todas las peticiones. El vigilante interno lo detectaba y lo reiniciaba cada 30 minutos, pero el error volvía nada más arrancar.
Causa
El agente se había actualizado solo a una versión nueva. Esa versión solo acepta una lista cerrada de valores en uno de sus parámetros de arranque, y el valor que usábamos no estaba en la lista. Lo primero que sospechamos fue un cambio de modelo hecho el mismo día, pero no tenía nada que ver: el error venía del registro interno del agente, no del modelo.
Arreglo
Cambiar el parámetro a un valor de la lista en las dos máquinas donde corre el agente, la de la nube y la del nodo solar. De paso se pausó una tarea programada que reiniciaba el servidor sin avisar después de cada actualización del sistema.
Prueba
En la siguiente ronda, el vigilante marcó el agente como recuperado en las dos máquinas, y una petición de prueba respondió bien.
LecciónReiniciar no es arreglar. Si un vigilante reinicia algo una y otra vez, el aviso que importa es «lleva tres reinicios seguidos», no cada reinicio por separado.
¿Quién avisa si se cae el servidor que vigila a los demás?
Riesgo
Todo el sistema de avisos vivía en el mismo servidor que coordina la red. Si ese servidor se caía, se caían también los avisos, y nadie se enteraba.
Arreglo
Un vigilante independiente, en otro servidor y con otro proveedor. Cada minuto comprueba el coordinador, el panel de control, el nodo solar y la web pública. Solo avisa cuando algo cambia de estado (se cae o vuelve), para que los avisos no se conviertan en ruido. Además, cada día se guarda una copia de seguridad cifrada del coordinador en un tercer servidor.
Prueba
Se forzó un aviso de prueba y llegó al móvil. El vigilante exige varios fallos seguidos antes de avisar, para no dar falsas alarmas por un corte de un segundo.
LecciónSi el vigilante y lo vigilado comparten máquina, caen juntos. Lo que vigila tiene que estar en otro sitio.
El límite de preguntas de la demo pública se podía saltar
Fallo
La demo «Pruébalo» deja hacer 5 preguntas por persona y día al modelo local. En una auditoría propia se lanzaron 7 preguntas a la vez desde la misma conexión, y pasaron las 7.
Causa
Cada petición miraba el contador antes de que las anteriores hubieran sumado la suya. Con peticiones de una en una funcionaba; con varias a la vez, todas veían el contador a cero.
Arreglo
La plaza se reserva en la misma operación de base de datos que comprueba el límite, antes de entrar en la cola de la GPU. Además se añadió un límite de peticiones en el propio servidor web, como segunda barrera.
Prueba
La misma ráfaga de 7 preguntas simultáneas da ahora 5 aceptadas y 2 rechazadas.
LecciónUn límite que solo se ha probado con peticiones de una en una no está probado. Hay que atacarlo como lo haría alguien con prisa.
El publicador automático de LinkedIn sacó un post sin imagen
Fallo
Un post que ya estaba revisado y aprobado se publicó solo con texto, sin su imagen, y hubo que borrarlo.
Causa
Hay varios agentes en cadena: uno redacta, otro revisa y otro juzga la calidad. El juez rechazó el texto aprobado por parecerse a otro anterior; el redactor escribió uno nuevo sobre la marcha, ese texto nuevo no pasó por revisión y no tenía imagen asignada.
Arreglo
Lo que ya está aprobado no se vuelve a juzgar. Si falta la imagen, se genera una de respaldo, y si esa también falla, el post no sale. Publicar solo texto dejó de ser una opción.
Prueba
La regla está en el código del publicador: sin imagen, la publicación se cancela.
LecciónCon varios agentes en cadena, el peligro está en los atajos entre ellos. Una aprobación tiene que valer hasta el final.
Míralo funcionando
La red que sale en estos casos está funcionando ahora mismo: agentes activos, respuestas del día y energía medida en el hardware, sin estimaciones.