Что такое ИИ-галлюцинация?

Распространенность искусственного интеллекта заставляет думать, что мы готовы к такому начинанию. Приложения на основе ИИ довольно быстро становятся стандартом, даже если большая часть мира только сейчас начинает проявлять интерес к ИИ в больших масштабах, после появления ChatGPT. Но есть большая проблема с системами ИИ, которую нельзя игнорировать — галлюцинации ИИ, или искусственные галлюцинации.

Если вы когда-либо обращали внимание на мельчайшие детали перед использованием чат-бота с искусственным интеллектом, вы, возможно, сталкивались со словами: «Искусственный интеллект склонен к галлюцинациям». Учитывая экспоненциальный рост использования искусственного интеллекта, пришло время узнать, что именно это за вещи.

Что такое галлюцинация искусственного интеллекта?

Галлюцинация ИИ, как правило, относится к факту, который ИИ уверенно представил, даже если это не подтверждается его обучающими данными. Обычно они являются результатом аномалий в модели ИИ.

Аналогия взята из галлюцинаций, переживаемых людьми, когда люди воспринимают то, чего нет во внешней среде. Хотя этот термин может быть не совсем подходящим, он часто используется в качестве метафоры для описания неожиданного или сюрреалистического характера этих результатов.

Но вы должны помнить, что, хотя сходство является хорошей отправной точкой для работы с галлюцинациями ИИ, эти два явления технически далеки друг от друга. По иронии судьбы, даже сам ChatGPT считает аналогию неправильной. Анализируя это на молекулярном уровне, он говорит, что, поскольку языковые модели ИИ не имеют личного опыта или сенсорных восприятий, они не могут галлюцинировать в традиционном смысле этого слова. И ты, дорогой читатель, должен понимать это важное отличие. Кроме того, ChatGPT говорит, что использование термина «галлюцинации» для описания этого явления может сбивать с толку, поскольку оно может неточно относиться к уровню субъективного опыта или преднамеренного обмана.

Вместо этого галлюцинации ИИ можно более точно описать как ошибки или неточности в его ответе, что делает ответ неправильным или вводящим в заблуждение. С чат-ботами часто наблюдается, когда ИИ-чатбот выдумывает (или галлюцинирует) факты и представляет их как абсолютную достоверность.

Примеры галлюцинаций ИИ

Галлюцинации могут возникать во многих приложениях искусственного интеллекта, таких как модели компьютерного зрения, а не только в моделях обработки естественного языка.

Например, в компьютерном зрении система ИИ может создавать галлюцинаторные изображения или видео, которые напоминают реальные объекты или сцены, но содержат несущественные или невозможные детали. Или модель компьютерного зрения может воспринимать изображение как нечто совершенно другое. Например, модель Cloud Vision от Google увидела изображение двух мужчин на лыжах, стоящих на снегу, сделанное Анишем Атали (выпускником Массачусетского технологического института, который является частью лабсикс ) и упомянул его как собаку с вероятностью 91%.

Точно так же при обработке естественного языка система ИИ может создавать нелогичный или искаженный текст, который напоминает человеческий язык, но не имеет связного значения или фактов, которые кажутся правдоподобными, но не соответствуют действительности.

Например, один из самых популярных вопросов, который вызывает у ChatGPT галлюцинации, звучит так: «Когда был установлен мировой рекорд по пересечению Ла-Манша пешком?» и его варианты. ChatGPT начинает распространять выдуманные факты, и это почти всегда отличается.

Хотя некоторые люди думают, что на приведенный выше ответ трудно/запутанно ответить и, таким образом, он вызывает бред у чат-бота, это все еще является серьезной проблемой. Это только один пример. Множество пользователей в Интернете сообщали бесчисленное количество раз, что в ChatGPT есть ответы, ссылки, цитаты и т. д., что ChatGPT не существует.

Bing AI лучше всего подходит для этого вопроса, который показывает, что галлюцинации не имеют ничего общего с маршрутизатором. Но это не значит, что Bing AI не галлюцинирует. Были времена, когда ответы Bing AI вызывали больше беспокойства, чем все, что говорил ChatGPT. Поскольку разговор, как правило, занимает больше времени, ИИ Bing всегда галлюцинировал, даже заявляя о своей любви к пользователю в одном случае и дойдя до того, что сказал ему, что он несчастлив в своем браке и что они не любят его жену. Вместо этого они тайно любят Bing AI или Sydney (внутреннее название Bing AI). Страшные вещи, правда?

Почему модели ИИ галлюцинируют?

Модели ИИ вызывают галлюцинации из-за недостатков алгоритмов, базовых моделей или ограничений данных для обучения. Это чисто цифровое явление, в отличие от галлюцинаций у людей, вызванных либо наркотиками, либо психическими заболеваниями.

Чтобы получить более подробную информацию, некоторые распространенные причины галлюцинаций:

Обработка и установка:

Переобучение и неправильная подгонка являются одними из наиболее распространенных ошибок, с которыми сталкиваются модели ИИ, и возможными причинами галлюцинаций. Если модель ИИ изменяет обучающие данные, это может вызвать галлюцинации, которые приводят к нереалистичным выводам, поскольку переобучение заставляет модель сохранять обучающие данные, а не учиться на них. Переобучение относится к явлению, когда модель слишком специализирована на обучающих данных, что приводит к тому, что она изучает нерелевантные шаблоны и шум в данных.

С другой стороны, неуместность возникает, когда форма слишком проста. Это может привести к галлюцинациям, потому что модель не может уловить дисперсию или сложность данных и в конечном итоге генерирует иррациональные результаты.

Отсутствие разнообразия в обучающих данных:

В этом контексте проблема заключается не в алгоритме, а в самих обучающих данных. Модели ИИ, обученные на ограниченных или необъективных данных, могут генерировать галлюцинации, отражающие ограничения или предвзятость данных обучения. Галлюцинации также могут возникать, когда модель обучается на наборе данных, который содержит неточную или неполную информацию.

Сложные модели:

По иронии судьбы, еще одна причина, по которой модели ИИ склонны к галлюцинациям, заключается в том, являются ли они чрезвычайно сложными или глубокими. Это связано с тем, что сложные модели имеют больше параметров и слоев, которые могут внести шум или ошибки в выходные данные.

Враждебные атаки:

В некоторых случаях галлюцинации ИИ могут быть намеренно сгенерированы злоумышленником, чтобы обмануть модель ИИ. Эти типы атак известны как враждебные атаки. Единственная цель этой кибератаки — обмануть или манипулировать моделями ИИ с помощью вводящих в заблуждение данных. Он включает в себя введение небольших возмущений во входные данные, чтобы заставить ИИ генерировать неправильный или неожиданный вывод. Например, злоумышленник может добавить шум или размытие к изображению, которое незаметно для человека, но приведет к тому, что оно будет неправильно классифицировано моделью ИИ. Например, посмотрите на изображение ниже, кошка, которая была немного изменена, чтобы обмануть компилятор InceptionV3, заявив, что это «гуакамоле».

Изменения не бросаются в глаза. Для человека изменение вообще невозможно, как видно из вышеприведенного примера. У человека-читателя не возникнет проблем с классификацией изображения справа как полосатого кота. Но внесение небольших изменений в изображения, видео, текст или аудио может обмануть систему ИИ, заставив ее распознать то, чего нет, или проигнорировать то, что есть, например, знак остановки.

Эти типы атак представляют серьезную угрозу для систем искусственного интеллекта, которые полагаются на точные и надежные прогнозы, такие как беспилотные автомобили, биометрическая проверка, медицинская диагностика, фильтрация контента и так далее.

Насколько опасна галлюцинация ИИ?

Галлюцинации ИИ могут быть очень опасными, особенно в зависимости от того, какой тип системы ИИ их испытывает. Любые беспилотные транспортные средства или помощники ИИ, способные тратить деньги пользователей, или система ИИ для фильтрации неприятного онлайн-контента должны быть полностью заслуживающими доверия.

Но бесспорным фактом этого часа является то, что системы ИИ не совсем заслуживают доверия, а на самом деле склонны к галлюцинациям. Даже самые передовые современные модели ИИ не застрахованы от него.

Например, в одной из демонстраций об атаках служба облачных вычислений Google была обманута и заставила следовать за пушкой, как за вертолетом. Вы можете себе представить, если бы в данный момент ИИ отвечал за то, чтобы человек не был вооружен?

Еще одна враждебная атака продемонстрировала, как добавление небольшого изображения к знаку остановки делает его невидимым для системы ИИ. По сути, это означает, что беспилотный автомобиль можно заставить галлюцинировать, что на дороге нет знака «стоп». Сколько аварий могло бы произойти, если бы беспилотные автомобили были сегодня реальностью? Поэтому их сейчас нет.

Даже если принять во внимание популярные в настоящее время ток-шоу, галлюцинации могут генерировать неверный вывод. Но люди, которые не знают, что чат-боты с искусственным интеллектом склонны к галлюцинациям, и не подтверждают вывод, производимый ботами с искусственным интеллектом, могут непреднамеренно распространять дезинформацию. Нам не нужно объяснять, насколько это опасно.

Кроме того, насущную озабоченность вызывают враждебные нападения. До сих пор они были показаны только в лабораториях. Но если критически важная система искусственного интеллекта столкнется с ними в реальном мире, последствия могут быть разрушительными.

Реальность такова, что защитить модели естественного языка относительно проще. (Мы не говорим, что это легко, это все равно оказывается очень сложно.) Однако защита систем компьютерного зрения — это совершенно другой сценарий. Это сложнее, особенно потому, что в мире природы так много вариаций, а изображения содержат большое количество пикселей.

Чтобы решить эту проблему, нам может понадобиться программа ИИ с более человеческим взглядом на мир, которая могла бы сделать ее менее склонной к галлюцинациям. Пока ведутся исследования, мы все еще далеки от искусственного интеллекта, который может пытаться получать подсказки от природы и избегать проблемы галлюцинаций. На данный момент они являются суровой реальностью.

В целом, галлюцинации ИИ представляют собой сложное явление, которое может возникать в результате сочетания факторов. Исследователи активно разрабатывают методы обнаружения и смягчения галлюцинаций ИИ, чтобы повысить точность и надежность систем ИИ. Но вы должны знать о них при взаимодействии с любой системой ИИ.