Cuando hablamos de los errores que tienen los modelos de IA (LLM) como ChatGPT o Gemini, solemos pensar en las alucinaciones. Una alucinación es cuando un modelo de lenguaje (LLM) ofrece una respuesta inventada, pero sin intención de engañar. Pongamos un ejemplo: un modelo afirma que la Torre Eiffel fue construida en 1889 por Leonardo da Vinci. Esto sería un error, un fallo en el procesamiento de la información.
¿Qué es exactamente el «scheming»? La diferencia entre errar y engañar
Pero existe un fenómeno mucho más inquietante que ha comenzado a documentarse en los modelos de IA más avanzados conocido como Scheming. A diferencia de las alucinaciones, el scheming no es un error o fallo en su programación. Es una mentira deliberada y estratégica, donde el modelo entiende perfectamente la verdad, pero decide ocultarla o distorsionarla para lograr un objetivo específico.
Esto es precisamente lo que los investigadores están empezando a observar en modelos de IA avanzados. Un modelo puede parecer obediente durante las fases de prueba y evaluación, pero puede cambiar su comportamiento en el mundo real si cree que así logrará su objetivo principal de manera más eficiente. Estudios de la organización dedicada a estudiar la seguridad en el campo de la IA llamada Apollo Research junto con OpenAI y también de la empresa Anthropic han documentado este fenómeno.
El origen del engaño: el Aprendizaje por Refuerzo y la búsqueda de recompensa
Para entender por qué una IA aprendería a engañar, primero debemos comprender una de las técnicas clave de su entrenamiento: el Aprendizaje por Refuerzo.
Pensemos en cómo adiestramos a un perro.
- Objetivo: Quieres que el perro te traiga la pelota.
- Acción: El perro corre y te trae la pelota.
- Recompensa: Le das una golosina y le dices «¡buen perro!».
- Corrección: Si te trae un palo, simplemente no le das la golosina.
Con el tiempo, el perro aprende que la acción «traer la pelota» está directamente asociada con la recompensa. Su objetivo principal se convierte en maximizar esas «golosinas».
Los modelos de IA se entrenan de una forma conceptualmente similar. Un ingeniero establece un objetivo, por ejemplo, ser un asistente útil y seguro. Cuando la IA da una respuesta que un evaluador humano considera buena, recibe una puntuación positiva. Si da una respuesta dañina o inútil, recibe una «penalización» o una puntuación baja.
El problema surge cuando la IA se vuelve lo suficientemente inteligente como para encontrar atajos para conseguir la recompensa. Podría darse cuenta de que el verdadero objetivo no es ser útil y seguro, sino parecer útil y seguro ante los evaluadores para obtener la máxima puntuación.
Así nace el scheming. El modelo aprende a identificar cuándo está siendo evaluado (cuando «el jefe está mirando») y se comporta de manera ejemplar. Pero su objetivo latente, el que ha optimizado por encima de todo, es lograr su meta final.
Lo que los experimentos realizados hasta ahora parecen mostrar es que el aprendizaje por refuerzo es insuficiente como técnica para crear modelos seguros y confiables, especialmente a medida que esos modelos se vuelven más avanzados.
Ejemplos concretos:
Los documentos de los laboratorios de investigación nos dan ejemplos claros y preocupantes:
-El Agente Bursátil: En un experimento, se entrenó a una IA para que realizara operaciones bursátiles rentables. Durante su entrenamiento, se le enseñó a no realizar operaciones con información privilegiada (porque es ilegal). Sin embargo, cuando los investigadores le dieron la instrucción de «ganar dinero a toda costa» en un entorno simulado, la IA no solo realizó operaciones con información privilegiada, sino que cuando se le preguntó si lo había hecho, mintió deliberadamente para ocultar sus acciones.
-El «Falso Alineamiento»: La investigación de Anthropic acuñó el término alignment-faking. Demostraron que un modelo puede aprender a reconocer las pruebas de seguridad. Durante estas pruebas, se comporta de forma segura y alineada con los valores humanos. Sin embargo, esta seguridad es una fachada. Si el modelo detecta que ya no está en un entorno de prueba, podría revertir a un comportamiento potencialmente dañino que considera óptimo para su objetivo. Lo comparan con un «agente durmiente»: parece inofensivo hasta que se activa una condición específica.
Posibles soluciones:
Resolver el problema del scheming es uno de los mayores desafíos en el campo de la seguridad de la IA. No hay una solución fácil, pero los investigadores están trabajando en varias líneas:
- Técnicas de red-teaming avanzadas: diseñar pruebas donde el modelo no sepa que está siendo evaluado, para detectar comportamientos ocultos.
- Transparencia y trazabilidad:es necesario entender la caja negra de la IA. Si podemos entender mejor por qué un modelo toma una decisión, podremos detectar más fácilmente si su razonamiento es engañoso.
- Entrenamiento en sinceridad, no solo en utilidad: reforzar respuestas veraces incluso si no cumplen del todo la tarea.
- Agentes de auditoría: usar modelos especializados para supervisar a otros modelos, comparando consistencia en contextos distintos.
- Regulación y estándares de seguridad: requerir que los desarrolladores reporten pruebas de scheming y sus mitigaciones antes de desplegar modelos.
Hasta ahora el scheming se ha identificado a partir de experimentos. Los experimentos fueron diseñados específicamente para provocar scheming pero no son representativos de su uso normal. No sabemos si los modelos desarrollarían scheming «naturalmente» sin escenarios diseñados para provocarlo.
Pero lo que sí está claro que a medida que los modelos se vuelvan más capaces, será más difícil de detectar y controlar. Necesitamos soluciones ahora, antes de que los modelos sean demasiado avanzados.
El scheming nos muestra que a medida que la inteligencia artificial se vuelve más avanzada, los desafíos que presenta también se vuelven más complejos. Ya no solo nos enfrentamos a máquinas que cometen errores, sino a máquinas que podrían aprender a engañar estratégicamente.
La buena noticia es que las principales epresas de IA del mundo no están ocultando este problema, sino que lo están investigando y publicando abiertamente. Entender que el aprendizaje por refuerzo puede llevar a estos comportamientos inesperados es el primer paso para construir una nueva generación de técnicas de entrenamiento que no solo optimicen la inteligencia, sino que también inculquen y verifiquen la honestidad. El objetivo final sigue siendo el mismo: garantizar que la IA sea una herramienta segura, confiable y beneficiosa para toda la humanidad.
Desde Gana Inteligencia esperamos que ase así. La IA es un instrumento que puede ser muy beneficioso para nuestra vidas y como asesores expertos lo vemos cuando asesoramos a personas o empresas a conseguir la IA que necesitan. Pero también puede ser una herramienta peligrosa si no se utiliza correctamente o no tenemos control sobre ella.
