Aprende sobre un extraño caso de alucinación de IA
El predominio de la inteligencia artificial hace pensar que estamos listos para tal empresa. Las aplicaciones impulsadas por IA se están volviendo estándar con bastante rapidez, incluso si la mayor parte del mundo recién ahora comienza a interesarse en la IA a gran escala, después de la llegada de ChatGPT. Pero hay un gran problema con los sistemas de IA que no se puede ignorar: las alucinaciones de IA o alucinaciones artificiales.
Si alguna vez prestó atención al meollo de la cuestión antes de usar un chatbot de IA, es posible que haya encontrado las palabras, "La inteligencia artificial es propensa a las alucinaciones". Dado el aumento exponencial en el uso de la inteligencia artificial, es hora de informarse sobre qué son exactamente estas cosas.
¿Qué es una alucinación de inteligencia artificial?
Una IA alucinando, en general, se refiere a un hecho que la IA ha presentado con confianza, aunque no esté justificado en sus datos de entrenamiento. Suelen ser el resultado de anomalías en el modelo de IA.
La analogía se toma de las alucinaciones experimentadas por humanos, en las que los humanos perciben algo que no está presente en el entorno externo. Si bien el término puede no ser del todo apropiado, a menudo se usa como metáfora para describir la naturaleza inesperada o surrealista de estos resultados.
Pero debe recordar que si bien la similitud es un buen punto de partida para lidiar con las alucinaciones de la IA, los dos fenómenos están técnicamente muy separados. En un giro irónico de los acontecimientos, incluso el propio ChatGPT considera que la analogía es incorrecta. Al diseccionarlo a nivel molecular, dice que debido a que los modelos de lenguaje de IA no tienen experiencia personal o percepciones sensoriales, no pueden alucinar en el sentido tradicional de la palabra. Y usted, querido lector, tiene que comprender esta importante diferencia. Además, ChatGPT dice que usar el término alucinaciones para describir este fenómeno puede ser confuso porque puede referirse de manera incorrecta a un nivel de experiencia subjetiva o engaño intencional.
En cambio, las alucinaciones de la IA pueden describirse con mayor precisión como errores o inexactitudes en su respuesta, lo que hace que la respuesta sea incorrecta o engañosa. Con los chatbots, a menudo se observa cuando el chatbot de IA inventa (o alucina) hechos y los presenta como certeza absoluta.
Ejemplos de alucinaciones de IA
Las alucinaciones pueden ocurrir en muchas aplicaciones de la inteligencia artificial, como los modelos de visión por computadora, no solo en los modelos de procesamiento del lenguaje natural.
En la visión por computadora, por ejemplo, un sistema de IA puede producir imágenes o videos alucinantes que se asemejan a objetos o escenas reales pero que contienen detalles intrascendentes o imposibles. O bien, un modelo de visión por computadora podría percibir la imagen como algo completamente diferente. Por ejemplo, el modelo Cloud Vision de Google vio una imagen de dos hombres con esquís parados en la nieve hecha por Anish Athalye (un estudiante graduado del MIT que es parte de laboratoriosix ) y lo mencionó como un perro con un 91 % de certeza.
Créditos: labsix. Un grupo de investigación independiente para la inteligencia artificial
De manera similar, en el procesamiento del lenguaje natural, un sistema de IA puede producir texto ilógico o ilegible que se parece al lenguaje humano pero que no tiene un significado coherente o hechos que parecen creíbles pero no son ciertos.
Por ejemplo, una de las preguntas más populares que ChatGPT causa alucinaciones es "¿Cuándo se estableció el récord mundial de cruzar el Canal de la Mancha a pie?" y sus variantes. ChatGPT comienza a difundir hechos inventados y casi siempre es diferente.
Si bien algunas personas piensan que la respuesta anterior es difícil/confusa de responder y, por lo tanto, hace que el chatbot se entusiasme, sigue siendo una preocupación válida. Esto es sólo un ejemplo. Hay innumerables ocasiones, informadas por hordas de usuarios en línea, que ChatGPT tiene respuestas, enlaces, citas, etc. que ChatGPT no existe.
Bing AI encaja mejor con esta pregunta, lo que demuestra que las alucinaciones no tienen nada que ver con el enrutador. Pero eso no significa que Bing AI no esté alucinando. Hubo momentos en que las respuestas de Bing AI eran más preocupantes que cualquier cosa que dijera ChatGPT. Dado que la conversación tiende a tomar más tiempo, Bing AI siempre ha estado alucinando, incluso declarando su amor a un usuario en un caso y yendo tan lejos como para decirle que no está feliz en su matrimonio y que no ama a su esposa. En cambio, también les gusta en secreto Bing AI, o Sydney (el nombre interno de Bing AI). Cosas de miedo, ¿verdad?
¿Por qué alucinan los modelos de IA?
Los modelos de IA son alucinantes debido a las deficiencias de los algoritmos, los modelos subyacentes o las limitaciones de los datos de entrenamiento. Es un fenómeno puramente digital, a diferencia de las alucinaciones en humanos causadas por drogas o enfermedades mentales.
Para ser más técnicos, algunas causas comunes de alucinaciones son:
Procesamiento e instalación:
El ajuste excesivo y el ajuste inadecuado se encuentran entre las trampas más comunes que enfrentan los modelos de IA y las posibles causas de las alucinaciones. Si el modelo de IA modifica los datos de entrenamiento, puede causar alucinaciones que conducen a resultados poco realistas porque el sobreajuste hace que el modelo guarde los datos de entrenamiento en lugar de aprender de ellos. El sobreajuste se refiere al fenómeno cuando un modelo está demasiado especializado en los datos de entrenamiento, lo que hace que aprenda patrones irrelevantes y ruido en los datos.
Por otro lado, la inadecuación ocurre cuando la forma es demasiado simple. Puede provocar alucinaciones porque el modelo no puede capturar la varianza o la complejidad de los datos y termina generando resultados irracionales.
Falta de diversidad en los datos de entrenamiento:
En este contexto, el problema no es el algoritmo sino los propios datos de entrenamiento. Los modelos de IA entrenados con datos limitados o sesgados pueden generar alucinaciones que reflejan limitaciones o sesgos en los datos de entrenamiento. Las alucinaciones también pueden ocurrir cuando el modelo se entrena en un conjunto de datos que contiene información inexacta o incompleta.
Modelos complejos:
Irónicamente, otra razón por la que los modelos de IA son propensos a las alucinaciones es si son extremadamente complejos o profundos. Esto se debe a que los modelos complejos tienen más parámetros y capas que pueden introducir ruido o errores en la salida.
Ataques hostiles:
En algunos casos, el atacante puede generar deliberadamente alucinaciones de IA para engañar al modelo de IA. Este tipo de ataques se conocen como ataques hostiles. El único objetivo de este ciberataque es engañar o manipular modelos de IA con datos engañosos. Implica introducir pequeñas perturbaciones en los datos de entrada para que la IA genere una salida incorrecta o inesperada. Por ejemplo, un atacante podría agregar ruido o desenfoque a una imagen que es imperceptible para los humanos pero que hace que un modelo de IA la clasifique erróneamente. Por ejemplo, vea la imagen a continuación, un gato, que se ha modificado ligeramente para engañar al compilador de InceptionV3 para que diga que es "guacamole".
crédito: Anish Atalaya , miembro del grupo de investigación labsix, que se centra en los ataques adversarios
Los cambios no son evidentes. Para un ser humano, el cambio no será posible en absoluto, como se desprende del ejemplo anterior. Un lector humano no tendría ningún problema en categorizar la imagen de la derecha como un gato atigrado. Pero hacer pequeños cambios en imágenes, videos, texto o audio puede engañar al sistema de IA para que reconozca cosas que no están allí o ignore cosas que sí lo están, como una señal de alto.
Estos tipos de ataques representan serias amenazas para los sistemas de IA que se basan en predicciones precisas y confiables, como automóviles autónomos, verificación biométrica, diagnósticos médicos, filtrado de contenido, etc.
¿Qué tan peligrosa es una alucinación de IA?
Las alucinaciones de IA pueden ser muy peligrosas, especialmente dependiendo del tipo de sistema de IA que las esté experimentando. Cualquier vehículo autónomo o asistente de IA capaz de gastar el dinero del usuario o un sistema de IA para filtrar contenido desagradable en línea debe ser completamente confiable.
Pero el hecho indiscutible de esta hora es que los sistemas de IA no son del todo confiables sino que, de hecho, son propensos a las alucinaciones. Incluso los modelos de IA más avanzados de la actualidad no son inmunes a ella.
Por ejemplo, un programa de ataque engañó al servicio de computación en la nube de Google para que siguiera un arma como un helicóptero. ¿Te imaginas si, en este momento, AI se encargara de asegurarse de que la persona no estuviera armada?
Otro ataque hostil demostró cómo agregar una pequeña imagen a una señal de alto la hace invisible para el sistema de IA. Esencialmente, esto significa que se puede hacer que un automóvil autónomo alucine que no hay una señal de alto en la carretera. ¿Cuántos accidentes podrían ocurrir si los coches autónomos fueran una realidad hoy en día? Por eso no están ahora.
Incluso si tenemos en cuenta los programas de chat actualmente populares, las alucinaciones pueden generar resultados incorrectos. Pero las personas que no saben que los chatbots de IA son propensos a las alucinaciones y no validan el resultado producido por los bots de IA, pueden difundir información errónea sin darse cuenta. No necesitamos explicar cuán peligroso es esto.
Además, los ataques hostiles son una preocupación apremiante. Hasta el momento, solo se han demostrado en laboratorios. Pero si un sistema de IA de misión crítica los confronta en el mundo real, las consecuencias pueden ser devastadoras.
La realidad es que es relativamente más fácil proteger los modelos de lenguaje natural. (No decimos que sea fácil; aun así resulta ser muy difícil). Sin embargo, proteger los sistemas de visión por computadora es un escenario completamente diferente. Es más difícil, especialmente porque hay mucha variación en el mundo natural y las imágenes contienen una gran cantidad de píxeles.
Para resolver este problema, es posible que necesitemos un programa de inteligencia artificial que tenga una visión más humana del mundo que podría hacerlo menos propenso a las alucinaciones. Si bien se están realizando investigaciones, todavía estamos muy lejos de una inteligencia artificial que pueda intentar tomar pistas de la naturaleza y evadir el problema de las alucinaciones. Por ahora, son una dura realidad.
En general, las alucinaciones de IA son un fenómeno complejo que puede surgir de una combinación de factores. Los investigadores están desarrollando activamente métodos para detectar y mitigar las alucinaciones de IA para mejorar la precisión y confiabilidad de los sistemas de IA. Pero debe tenerlos en cuenta al interactuar con cualquier sistema de IA.
