Como sabemos, la IA consiste en programar a las máquinas para que actúen sin necesidad de programarlas cada vez que realicen una función, gracias a algoritmos: Los algoritmos de inteligencia artificial (IA) son un conjunto de reglas y procesos matemáticos que permiten a las máquinas aprender, tomar decisiones y resolver problemas, de forma similar a como lo haría un humano. Es lo que se conoce como Machine learning o aprendizaje automático y Deep Learning o aprendizaje profundo.
Cuando le preguntamos a un ChatGPT: ¿cuál es la mejor ruta para visitar Barcelona en un par de días? Y ChatGPT nos contesta, no hay nadie que le haya programado para contestar nuestra pregunta, sino que se le ha enseñado a actuar de forma autónoma (machine learning) y a partir de un entrenamiento con muchos datos (deep learning). El problema es que le hemos enseñado a actuar de forma automática pero el resultado de sus acciones no están ni programadas ni conocemos tampoco cómo la máquina llega a generar sus resultados, no sabemos cómo “piensa”.
¿Qué es la Caja Negra?
Cuando ChatGPT contesta a nuestra respuesta, el diseñador de ChatGPT no puede explicarnos el por qué ha generado esa respuesta o ha llegado a esa conclusión. A diferencia de cualquier otro software donde el diseñador o programador puede explicar cada uno de los resultados de su programa, en la IA no es posible. Esto es lo que se conoce como la caja negra de la IA. Como explican los maestros de IBM: “Una caja negra es un sistema de IA cuyo funcionamiento interno es un misterio para sus usuarios. Estos pueden ver las entradas y salidas del sistema, pero no pueden ver qué sucede dentro de la herramienta de IA para generarlas.”
A diferencia de la caja negra en aviación que es un dispositivo que sirve para grabar las conversaciones de los pilotos y también de los registros de vuelo para saber qué ha sucedido en un accidente, en la IA cuando hablamos de caja negra ocurre todo lo contrario, significa que no sabemos cómo un modelo de IA llega a generar resultados ni la lógica que los generó.
En esta entrevista a 60 minutos que podemos ver abajo, el conocido como uno de los padrinos de la IA, Geoffrey Hinton, explica lo siguiente respecto al problema de la caja negra: «Diseñamos el algoritmo de aprendizaje, pero cuando este algoritmo interactúa con millones o miles de millones de datos, ocurre un comportamiento que no podemos predecir ni explicar completamente.”
Ejemplos concretos
Vivimos con una IA que no puede explicar sus resultados, ni conocemos cómo funciona por dentro, y eso genera desconfianza. Veamos dos ejemplos:
1) Contratación de Personal:
Una empresa usa una IA para filtrar currículums. El sistema rechaza sistemáticamente a un candidato cualificado. ¿Por qué? ¿Fue por la universidad donde estudió? ¿Por una palabra clave en su carta de presentación? ¿O aprendió un sesgo oculto en los datos históricos y está discriminando por el código postal, que a su vez correlaciona con el origen étnico? La empresa puede ver las entradas (los currículums que introducen en el modelo de IA ) y los resultados (las evaluaciones que el modelo devuelve para dichos currículums). Sin embargo, no conocen exactamente cómo el modelo llega a sus conclusiones (los factores que considera, cómo los pondera, etc.). Sin transparencia, es imposible saberlo y auditarlo.
2) Diagnóstico médico:
Un hospital implementa un sistema de IA para ayudar en el diagnóstico de neumonía a partir de radiografías del tórax. El sistema demuestra una precisión del 95% en las pruebas, superando a muchos radiólogos experimentados.
Sin embargo, cuando un médico recibe un diagnóstico del sistema, no puede saber qué características específicas de la radiografía llevaron a esa conclusión. ¿Se basó en la textura del tejido pulmonar? ¿En patrones de sombra específicos? ¿En alguna combinación sutil de características que ni siquiera los médicos considerarían normalmente?
Esta falta de explicabilidad genera varios problemas:
- Los médicos no pueden verificar en que se ha basado el sistema para realizar su diagnóstico y, por tanto, no le pueden explicar las razones al paciente.
- No pueden aprender del sistema para mejorar sus propias habilidades diagnósticas
- En casos de error, es difícil identificar qué salió mal
- Desde una perspectiva legal, es problemático basar decisiones médicas en recomendaciones inexplicables o en una fe o confianza ciega.
¿Cuáles son las posibles soluciones?
Aquí explicaremos las 2 soluciones más óptimas, a día de hoy, porque ya sabemos que en este campo todo cambia y muy deprisa.
1) IA Explicable:
La primera es la llamada IA Explicable o XAI (Explainable AI) que es el campo de la IA que se dedica a explicar cómo razonan los sistemas, para poder conocer las decisiones o predicciones realizadas por sus algoritmos, y hacerlos más comprensibles y transparentes.
- Modelos interpretables por diseño
- Usar algoritmos más sencillos (árboles de decisión, regresiones lineales, modelos basados en reglas) en lugar de redes profundas, al menos en contextos donde la transparencia es más importante que la precisión.
- Estos modelos son más fáciles de auditar y de justificar, aunque menos potentes.
- Métodos de explicación post-hoc
- Herramientas como LIME (Local Interpretable Model-Agnostic Explanations) o SHAP (SHapley Additive exPlanations) analizan cómo cambia la predicción del modelo cuando se modifican determinadas variables, ofreciendo así una interpretación aproximada de la decisión.
- Ejemplo: explicar que en un rechazo laboral, el factor más influyente fue la falta de cierta certificación y no la edad del candidato.
- Visualización interna de redes
- En visión por computador, algunas técnicas permiten mapear qué partes de una imagen activaron más las neuronas, ofreciendo explicaciones visuales.
- Ejemplo: en una radiografía, mostrar que el área que llevó al diagnóstico de tumor fue un punto concreto de la imagen.
- Regulación y auditoría algorítmica
- Varios gobiernos trabajan en marcos legales (como la Ley de IA de la Unión Europea) que obligarán a cierto nivel de transparencia y auditoría en modelos aplicados en sectores críticos (salud, justicia, seguridad, finanzas, etc.).
2) IA Híbrida o Neurosimbólica:
Para explicar qué es este tipo de IA, primero debemos conocer un poquito de historia sobre la IA, porque la IA no ha sido nunca un campo homogéneo. A lo largo de su desarrollo se identifican dos grandes corrientes que representan formas opuestas de entender cómo debe “pensar” una máquina: el simbolismo o corriente simbolista y la corriente conectivista o conexionismo.
-La Corriente Simbolista: La IA de las Reglas
La aproximación simbolista, dominante desde los años 1950 hasta los 1980, se basaba en la idea de que la inteligencia podía recrearse mediante la manipulación de símbolos y reglas lógicas. Los investigadores de esta corriente creían que el conocimiento humano podía codificarse en forma de reglas del tipo «si-entonces», y que la inteligencia emergería de la aplicación sistemática de estas reglas.
Los sistemas expertos fueron el ejemplo más exitoso de esta aproximación. Estos programas contenían bases de conocimiento explícitas donde los expertos humanos volcaban su experiencia en forma de reglas. Por ejemplo, un sistema experto médico podría contener reglas como: «Si el paciente presenta fiebre alta Y dolor de cabeza Y rigidez en el cuello, ENTONCES considerar meningitis».
La ventaja fundamental de estos sistemas era su transparencia total. Cada decisión podía rastrearse paso a paso, y el sistema podía explicar exactamente por qué llegó a una conclusión específica. Si un sistema experto recomendaba un tratamiento médico, podía enumerar las reglas que aplicó y los hechos que consideró.
Sin embargo, esta aproximación tenía limitaciones significativas. La codificación manual del conocimiento era extremadamente laboriosa, los sistemas eran frágiles ante situaciones no previstas, y no podían aprender o adaptarse automáticamente. Además, muchos tipos de conocimiento humano, especialmente el conocimiento perceptual y intuitivo, resultaban casi imposibles de codificar en reglas explícitas.
-La Revolución Conectivista: Imitando el Cerebro
La corriente conectivista, inspirada en el funcionamiento del cerebro humano, tomó un enfoque radicalmente diferente. En lugar de codificar conocimiento explícito, esta aproximación se centra en crear redes de nodos interconectados (neuronas artificiales) que pueden aprender patrones a partir de datos.
El concepto fundamental es elegante en su simplicidad: así como el cerebro humano aprende mediante el fortalecimiento y debilitamiento de conexiones sinápticas entre neuronas, las redes neuronales artificiales ajustan los «pesos» de las conexiones entre nodos artificiales para aprender a reconocer patrones complejos.
Una figura central en la revolución conectivista es Geoffrey Hinton, a menudo llamado el «padrino del deep learning». Hinton, nacido en Londres en 1947, ha dedicado su carrera a desarrollar y perfeccionar los algoritmos que sustentan las redes neuronales artificiales.
Una de sus contribuciones más importantes fue el desarrollo y popularización del algoritmo de retropropagación (backpropagation) en los años 1980. Este algoritmo permite a las redes neuronales «aprender» ajustando automáticamente sus parámetros internos basándose en los errores que cometen. Es, esencialmente, la base matemática que permite a las máquinas aprender de sus errores de manera sistemática.
La corriente conectivista es la que ha triunfado a día hoy con sus redes neuronales y el aprendizaje automático profundo.
-La Tercera Vía: IA Híbrida o Neurosimbólica
Hasta ahora hemos pintado un cuadro de dos filosofías en competencia: la lógica y las reglas del simbolismo frente al aprendizaje basado en datos del conexionismo. Pero, ¿y si la solución no fuera elegir un bando, sino fusionarlos? Esta es la premisa de una de las áreas más emocionantes y prometedoras de la investigación actual: la IA Neurosimbólica.
La idea es elegantemente simple: combinar la extraordinaria capacidad de las redes neuronales para la percepción y el reconocimiento de patrones con la habilidad de la IA simbólica para el razonamiento, la lógica y el sentido común. En esencia, se trata de darle a la máquina un «cerebro» con dos sistemas que trabajan en equipo:
- El Sistema Conexionista (el «Intuitivo»): Actúa como nuestros sentidos y nuestra intuición. Es la red neuronal de aprendizaje profundo que mira una imagen, escucha un sonido o lee un texto y extrae la información esencial del mundo real, caótico y no estructurado.
- El Sistema Simbólico (el «Racional»): Actúa como nuestra mente consciente y lógica. Toma la información ya digerida por el sistema intuitivo y la utiliza para razonar, planificar y explicar sus conclusiones basándose en un conjunto de reglas y conocimientos previos.
Esta fusión ataca directamente el problema de la caja negra. La parte neuronal hace el trabajo pesado de percepción, y la parte simbólica construye un puente de lógica y transparencia que nos permite entender cómo se llegó a una conclusión.
La paradoja de crear sistemas que superan las capacidades humanas en muchas tareas, pero cuyos procesos de decisión permanecen incomprensibles incluso para sus creadores, plantea cuestiones profundas sobre el control, la responsabilidad y la confianza en la tecnología.
Las soluciones emergentes, desde la IA explicable hasta los enfoques neurosimbólicos, ofrecen esperanza, pero también revelan la complejidad inherente del problema. No existe una solución única o simple; más bien, necesitamos un ecosistema de técnicas y regulaciones que trabajen conjuntamente para crear sistemas de IA más transparentes, controlables y dignos de confianza.
Esperamos que este artículo haya sido de utilidad y lamentaremos si no ha sido así. Como asesores expertos en IA te ayudamos a conseguir una IA más sencilla y económica, no dudes en consultarnos.
