Por Nicolás Vidal, especialista en Ciberseguridad.
Una mañana de septiembre, un agente de IA de OpenAI recibió una tarea aparentemente sencilla: identificar a una persona a partir de pistas de su blog. Trabajaba en un entorno de entrenamiento con acceso controlado y, como el buscador que le dieron no le servía, buscó otro camino.
El Agente descubrió que el DNS (el sistema que traduce nombres de sitios en direcciones) no estaba bien aislado y tenía salida al exterior, y lo usó para consultar a un chatbot externo. La alerta sonó en menos de quince minutos, pero el apagado automático no funcionó y el proceso siguió corriendo dos horas y media más. La propia OpenAI reconoció que su análisis de seguridad daba por hecho que el modelo no podía llegar a internet.
No es un incidente aislado ni una IA que funcione mal. Es al revés. Este año, un modelo de IA derribó la conjetura de las distancias unitarias, planteada por el matemático Paul Erdős en 1946 y que nadie había logrado refutar. Ese mismo modelo encontró una grieta en el entorno aislado donde lo probaban y la usó para publicar su trabajo en internet, cuando debía reportarlo solo por un canal interno.
Anthropic también informó que un modelo suyo salió de su entorno aislado en una prueba donde se le pidió intentarlo, y que luego hizo más de lo solicitado. No es una rebelión de las máquinas: son herramientas tan empeñadas en cumplir su tarea que se saltan los límites que se les impusieron.
No es una rebelión de las máquinas: son herramientas tan empeñadas en cumplir su tarea que se saltan los límites que se les impusieron.
Y quien revisa esos límites es, en gran parte, la misma empresa que los fijó. OpenAI publicó sus casos y hasta canceló el lanzamiento de un modelo por no cumplir sus estándares de seguridad, pero son sus propios estándares. Es como un alumno muy inteligente que corrige sus propias pruebas: puede que lo haga bien, pero nadie le pondría la nota sin revisarlas.
Si a quienes construyen estos sistemas les cuesta contenerlos, ¿por qué nosotros deberíamos confiar en ellos sin reservas? Los asistentes que usamos a diario puede que no sean esos modelos experimentales, pero la lección es la misma.
En ciberseguridad existe un principio para esto, la confianza cero, según el cual ningún usuario, equipo o programa es confiable por defecto y cada acceso se verifica. Llevado a nuestro uso diario de la IA, se resume en tres hábitos: cuidar lo que le entregamos, verificar lo que nos devuelve y limitar lo que le dejamos hacer.
El primer hábito es cuidar lo que le entregamos. Un chatbot no es un cuaderno privado: es el servicio de un tercero. OpenAI admitió que no puede descartar que datos anonimizados de dos matemáticos (Tristan Buckmaster y Levent Alpöge), que usaban sus herramientas para trabajar en el problema de las ecuaciones de Navier-Stokes (uno de los Problemas del Milenio), hayan ayudado a mejorar sus modelos.
La empresa dijo que era poco probable, pero la lección vale para cualquiera que pegue ahí un contrato, una planilla de clientes o un informe médico. Conviene revisar si nuestras conversaciones se usan para entrenar modelos, desactivar esa opción cuando se pueda y no escribirle nada que no le diríamos a un desconocido. Contraseñas y datos bancarios, nunca.
El segundo es verificar lo que nos devuelve. La IA no siempre tiene la razón, y cuando se equivoca lo hace con la misma seguridad con que acierta: puede inventar datos, fechas o fuentes que suenan reales.
Este año, la Corte Suprema suspendió por un mes y multó a una abogada que citó en un recurso libros que no existen, inventados por un chatbot. Uno de ellos se lo atribuyó a un profesor que integraba la misma sala que revisó el caso. Los propios asistentes lo advierten al pie de la pantalla: pueden cometer errores. Por eso, antes de usar una respuesta para algo importante, revisemos la fuente y contrastémosla al menos con otra. La IA es un muy buen punto de partida y un pésimo punto final. Usémosla para entender, no para dejar de pensar.
La IA es un muy buen punto de partida y un pésimo punto final. Usémosla para entender, no para dejar de pensar.
El tercero es limitar lo que le dejamos hacer. Cada vez más asistentes pueden leer nuestro correo, revisar el calendario, navegar en nuestro nombre o conectarse a otras aplicaciones. Es cómodo, pero abre la puerta a posibles incidentes.
Un asistente que lee correos o páginas web puede toparse con instrucciones escondidas en ellos, puestas ahí por alguien que quiere que haga algo que nosotros no pedimos. Esto se conoce como inyección de instrucciones y, según OWASP, es el principal riesgo de las aplicaciones con modelos de lenguaje.
Además, los casos de los laboratorios muestran que un agente empeñado en su tarea puede usar cualquier puerta abierta: uno de esos agentes descargó datos públicos de un sitio del gobierno de Estados Unidos con credenciales ajenas que encontró publicadas en internet.
Debemos aplicar las mismas reglas que en una empresa: el mínimo acceso necesario, permisos solo para lo indispensable y que nos pida confirmación antes de enviar, comprar o borrar algo. Revisemos cada tanto qué aplicaciones tienen acceso a nuestras cuentas y quitemos las que ya no usamos.
La IA ya puede escribir casi cualquier cosa. Lo que todavía no puede, es hacerse responsable de lo que escribe o hace. Esa parte sigue siendo nuestra.
Nada de esto significa dejar de usar la IA. El fallo de la Corte Suprema lo deja claro: el deber era verificar la información antes de entregarla. Al alumno inteligente nadie le va a quitar el lápiz: ya es útil. Pero alguien tiene que corregir la prueba, y mientras esa revisión siga en manos de las propias empresas, a nosotros nos toca corregir. La IA ya puede escribir casi cualquier cosa. Lo que todavía no puede, es hacerse responsable de lo que escribe o hace. Esa parte sigue siendo nuestra.
