Existe una laguna neuronal a la que no se tiene acceso: está entre el input que se le da a una inteligencia artificial (la información de la que se alimenta para generar sus resultados) y el output que ella entrega (el resultado por el que se le estaba preguntando). Esto no quiere decir que no se conozcan las fuentes consultadas o que el resultado sea incorrecto; sino que estas IA han llegado a un nivel de desarrollo tal que hasta los propios creadores pierden el hilo de cómo se ha llegado a esa conclusión y no a otras. Es lo que se denomina el fenómeno de la caja oscura (black box).
¿Y por qué tiene importancia si al final un resultado puede seguir siendo correcto, aunque no se sepa exactamente cómo se ha llegado a él? Quizás si la respuesta esperada de la IA sea cuál es la estructura más adecuada para realizar un ensayo, esta pregunta no cobre tanta importancia. Sin embargo, ¿qué sucede cuando la IA es la que regula un coche autónomo, una operación médica o un transcurso en el espacio?
Un cerebro como el nuestro
El profesor de la Universidad de Michigan-Dearborn, Samir Rawashdeh, propone un ejemplo para que el fenómeno las black boxes resulte más cercano: recordar cómo los niños aprenden a reconocer todo a su alrededor. Explica que solo hace falta enseñarles determinados ejemplos de la letra B o de un gato para que ya comiencen a discernirlos de otras letras y animales. Esto se debe a que, al igual que la IA, el cerebro es una máquina de reconocer patrones. Poco a poco el cerebro aprende a identificar más rápidamente las cualidades esenciales para ser un gato o una B, hasta que reconocerlos se convierte en un proceso que hacemos inconscientemente.
La magia ocurre cuando preguntamos sobre ese proceso: ¿cómo sabes que eso es un gato? ¿Cómo sabes que eso es una B? Rawashdeh dice: “Es una de esas cosas extrañas de las que te das cuenta, pero no sabes cómo o dónde lo has aprendido”. Y no es que lo hayas olvidado: es que has perdido la cuenta de qué inputs te han dado y lo único que te quedan ahora son las conclusiones.
Con la IA pasa igual: el proceso de conectar un resultado a su fuente se hace cada vez más opaco conforme pasa el tiempo. ¿Cómo sabemos entonces que un coche autónomo sabe reconocer los elementos que se va encontrando en frente de él? ¿Qué sucede si ocurre un accidente? No se podría identificar la causa porque no se podría trazar la ruta que ha llevado a esa conclusión.
Miradas actuales y posible solución
Por lo tanto, si las cajas negras suponen un vacío al que no pueden llegar ni los creadores, ¿se debería permitir que siga sucediendo este fenómeno? Ashley Winkles, especialista técnica de IBM Technology en IA y Machine Learning Operations, está en contra de dejarles ese poder a estas herramientas, y más cuando ya forman parte de nuestro día a día. Javier Viaña, ingeniero industrial y aeroespacial e investigador del tema, es partidario de elevar el debate a “emergencia de las black boxes”.
Sin embargo, ambos hacen referencia a la misma solución: la IA explicable (XAI). Esta se conforma de procesos y métodos que permite a los usuarios comprender y confiar en los resultados que nos proporciona la IA. Por ejemplo, Winkles habla del factor de la “explicabilidad” (explainability), responsabilidad y la transparencia de datos. Si se le piden estos factores a la IA, rastrear de dónde proviene un resultado es mucho más sencillo.