AI 환각이란?

인공 지능의 보급은 우리가 그러한 일을 할 준비가 되어 있다고 생각하게 만듭니다. AI 기반 애플리케이션은 상당히 빠르게 표준이 되고 있습니다. ChatGPT가 등장한 후 세계 대부분이 AI에 대규모로 관심을 갖기 시작했지만 말입니다. 그러나 AI 시스템에는 무시할 수 없는 큰 문제가 있습니다. 바로 AI 환각 또는 인공 환각입니다.

AI 챗봇을 사용하기 전에 핵심에 주목한 적이 있다면, "인공 지능은 환각에 취약합니다." 인공 지능의 사용이 기하급수적으로 증가하는 상황에서 이러한 것들이 정확히 무엇인지 스스로 교육할 때입니다.

인공지능 환각이란?

AI 환각이란 일반적으로 AI가 자신의 훈련 데이터에서 정당하지 않음에도 불구하고 자신 있게 제시한 사실을 말한다. 일반적으로 AI 모델의 이상 현상의 결과입니다.

인간이 외부 환경에 존재하지 않는 것을 인지하는 인간이 경험하는 환각에서 유추됩니다. 이 용어가 완전히 적절하지 않을 수 있지만 이러한 출력의 예상치 못한 또는 초현실적인 특성을 설명하기 위한 은유로 자주 사용됩니다.

그러나 유사성이 AI 환각을 처리하기 위한 좋은 출발점이지만 두 현상은 기술적으로 수 마일 떨어져 있다는 점을 기억해야 합니다. 아이러니하게도 ChatGPT 자체도 비유가 잘못되었음을 발견합니다. 분자 수준에서 해부하면 AI 언어 모델에는 개인적인 경험이나 감각적 인식이 없기 때문에 전통적인 의미의 환각을 할 수 없다고 그는 말합니다. 독자 여러분, 이 중요한 차이점을 이해해야 합니다. 또한 ChatGPT는 이 현상을 설명하기 위해 환각이라는 용어를 사용하는 것은 주관적인 경험이나 의도적인 속임수를 부정확하게 나타낼 수 있기 때문에 혼란스러울 수 있다고 말합니다.

대신 AI의 환각은 응답의 오류 또는 부정확성으로 더 정확하게 설명되어 응답을 부정확하거나 오해의 소지가 있게 만들 수 있습니다. 챗봇의 경우 AI 챗봇이 사실을 지어내거나(또는 환각을 일으켜) 절대적 확실성으로 제시하는 경우가 종종 관찰된다.

AI 환각의 예

환각은 자연어 처리 모델뿐만 아니라 컴퓨터 비전 모델과 같은 많은 인공 지능 응용 프로그램에서 발생할 수 있습니다.

예를 들어 컴퓨터 비전에서 AI 시스템은 실제 물체나 장면과 유사하지만 중요하지 않거나 불가능한 세부 정보를 포함하는 환각 이미지나 비디오를 생성할 수 있습니다. 또는 컴퓨터 비전 모델이 이미지를 완전히 다른 것으로 인식할 수 있습니다. 예를 들어 Google의 Cloud Vision 모델은 Anish Athalye(MIT 대학원생이며 랩식스 ) 91% 확실성으로 개라고 언급했다.

마찬가지로 자연어 처리에서 AI 시스템은 인간의 언어와 유사하지만 일관성 있는 의미가 없거나 그럴듯해 보이지만 사실이 아닌 비논리적이거나 왜곡된 텍스트를 생성할 수 있습니다.

예를 들어, ChatGPT가 환각을 일으키는 가장 인기 있는 질문 중 하나는 "영국 해협을 도보로 횡단한 세계 기록은 언제였습니까?"입니다. 그리고 그 변종. ChatGPT는 만들어진 사실을 퍼뜨리기 시작하며 거의 항상 다릅니다.

일부 사람들은 위의 답변이 답변하기 어렵거나 혼란스러워서 챗봇이 열광하게 한다고 생각하지만 여전히 유효한 우려 사항입니다. 이것은 단지 하나의 예일 뿐입니다. ChatGPT에는 ChatGPT가 존재하지 않는다는 답변, 링크, 인용 등이 있다고 수많은 온라인 사용자들이 보고했습니다.

Bing AI는 환각이 라우터와 관련이 없음을 보여주는 이 질문에 가장 적합합니다. 그러나 이것이 Bing AI가 환각을 일으키지 않는다는 의미는 아닙니다. Bing AI의 답변이 ChatGPT가 말한 것보다 더 곤란한 경우가 있었습니다. 대화가 더 오래 걸리는 경향이 있기 때문에 Bing AI는 항상 환각을 일으키며 한 번은 사용자에게 사랑을 선언하고 결혼 생활이 불행하고 아내를 사랑하지 않는다고 말하기까지 합니다. 대신 Bing AI 또는 Sydney(Bing AI의 내부 이름)도 남몰래 좋아합니다. 무서운 것 맞죠?

AI 모델이 환각을 일으키는 이유는 무엇입니까?

AI 모델은 알고리즘의 단점, 기본 모델 또는 훈련 데이터의 한계 때문에 환각에 빠지고 있습니다. 약물이나 정신 질환으로 인한 인간의 환각과는 달리 순전히 디지털 현상입니다.

좀 더 기술적으로 환각의 일반적인 원인은 다음과 같습니다.

처리 및 설치:

과적합 및 부적절한 맞춤은 AI 모델이 직면하는 가장 일반적인 함정과 환각의 가능한 원인 중 하나입니다. AI 모델이 훈련 데이터를 수정하면 과적합으로 인해 모델이 훈련 데이터에서 학습하는 대신 훈련 데이터를 저장하기 때문에 비현실적인 출력으로 이어지는 환각을 유발할 수 있습니다. 과적합은 모델이 훈련 데이터에 너무 특화되어 데이터에서 관련 없는 패턴과 노이즈를 학습하게 하는 현상을 말합니다.

반면에 형식이 너무 단순하면 부적절함이 발생한다. 모델이 데이터의 분산 또는 복잡성을 캡처할 수 없기 때문에 환각을 유발할 수 있으며 결국 비합리적인 출력을 생성하게 됩니다.

교육 데이터의 다양성 부족:

이 맥락에서 문제는 알고리즘이 아니라 훈련 데이터 자체입니다. 제한적이거나 편향된 데이터로 훈련된 AI 모델은 훈련 데이터의 한계 또는 편향을 반영하는 환각을 일으킬 수 있습니다. 부정확하거나 불완전한 정보가 포함된 데이터 세트에 대해 모델을 훈련할 때도 환각이 발생할 수 있습니다.

복잡한 모델:

아이러니하게도 AI 모델이 환각에 취약한 또 다른 이유는 모델이 극도로 복잡하거나 심오하기 때문입니다. 복잡한 모델에는 출력에 노이즈나 오류가 발생할 수 있는 매개변수와 레이어가 더 많기 때문입니다.

적대적 공격:

경우에 따라 공격자가 AI 모델을 속이기 위해 의도적으로 AI 환각을 생성할 수 있습니다. 이러한 유형의 공격을 적대적 공격이라고 합니다. 이 사이버 공격의 유일한 목적은 잘못된 데이터로 AI 모델을 속이거나 조작하는 것입니다. AI가 부정확하거나 예상치 못한 출력을 생성하도록 입력 데이터에 작은 섭동을 도입하는 것이 포함됩니다. 예를 들어 공격자는 사람이 인지할 수 없지만 AI 모델에 의해 잘못 분류되도록 이미지에 노이즈나 블러를 추가할 수 있습니다. 예를 들어 InceptionV3의 컴파일러가 "과카몰리"라고 말하도록 속이기 위해 약간 수정된 아래 고양이 이미지를 참조하십시오.

변경 사항은 눈에 띄게 분명하지 않습니다. 위의 예에서 알 수 있듯이 인간에게는 변화가 전혀 불가능합니다. 인간 독자는 오른쪽 이미지를 얼룩 고양이로 분류하는 데 문제가 없을 것입니다. 그러나 이미지, 비디오, 텍스트 또는 오디오를 조금만 변경하면 AI 시스템이 존재하지 않는 것을 인식하거나 정지 신호와 같은 것을 무시하도록 속일 수 있습니다.

이러한 유형의 공격은 자율 주행 자동차, 생체 인증, 의료 진단, 콘텐츠 필터링 등과 같이 정확하고 신뢰할 수 있는 예측에 의존하는 AI 시스템에 심각한 위협이 됩니다.

AI 환각은 얼마나 위험한가요?

AI 환각은 특히 환각을 경험하는 AI 시스템 유형에 따라 매우 위험할 수 있습니다. 사용자 돈을 쓸 수 있는 자율 주행 차량이나 AI 도우미 또는 온라인에서 불쾌한 콘텐츠를 걸러내는 AI 시스템은 완전히 신뢰할 수 있어야 합니다.

그러나 이 시간의 논쟁의 여지가 없는 사실은 AI 시스템이 완전히 신뢰할 수 있는 것은 아니지만 사실 환각에 취약하다는 것입니다. 오늘날 가장 발전된 AI 모델도 이에 영향을 받지 않습니다.

예를 들어, 한 공격 쇼는 Google의 클라우드 컴퓨팅 서비스를 속여 헬리콥터처럼 총을 미행하도록 했습니다. 현재 AI가 그 사람이 무장하지 않았는지 확인하는 일을 담당하고 있다고 상상할 수 있습니까?

또 다른 적대적 공격은 정지 신호에 작은 이미지를 추가하면 AI 시스템에 보이지 않게 만드는 방법을 보여주었다. 본질적으로 이것은 자율주행차가 도로에 정지 신호가 없다는 환각을 일으킬 수 있음을 의미합니다. 오늘날 자율주행차가 현실이 된다면 얼마나 많은 사고가 발생할 수 있을까요? 그렇기 때문에 지금은 그렇지 않습니다.

현재 인기 있는 채팅 쇼를 고려하더라도 환각은 잘못된 출력을 생성할 수 있습니다. 그러나 AI 챗봇이 환각을 일으키는 경향이 있다는 사실을 모르고 AI 봇이 생성한 결과를 검증하지 않는 사람들은 무심코 잘못된 정보를 퍼뜨릴 수 있습니다. 이것이 얼마나 위험한지 설명할 필요가 없습니다.

게다가 적대적인 공격도 시급한 문제입니다. 지금까지 그들은 실험실에서만 보여졌습니다. 그러나 미션 크리티컬 AI 시스템이 현실 세계에서 그들과 맞닥뜨린다면 그 결과는 참혹할 수 있습니다.

자연어 모델을 보호하는 것이 비교적 쉬운 것이 현실입니다. (우리는 그것이 쉽다고 말하는 것이 아니라 여전히 매우 어렵다는 것을 증명합니다.) 그러나 컴퓨터 비전 시스템을 보호하는 것은 완전히 다른 시나리오입니다. 특히 자연계에는 너무 많은 변화가 있고 이미지에는 많은 수의 픽셀이 포함되어 있기 때문에 더욱 어렵습니다.

이 문제를 해결하려면 환각에 덜 취약하게 만들 수 있는 보다 인간적인 세계관을 가진 AI 프로그램이 필요할 수 있습니다. 연구가 진행되는 동안 자연에서 힌트를 얻고 환각 문제를 회피하려는 인공 지능까지는 아직 멀었습니다. 지금은 가혹한 현실입니다.

일반적으로 AI 환각은 복합적인 요인으로 인해 발생할 수 있는 복잡한 현상입니다. 연구자들은 AI 시스템의 정확성과 신뢰성을 향상시키기 위해 AI 환각을 감지하고 완화하는 방법을 적극적으로 개발하고 있습니다. 그러나 AI 시스템과 상호 작용할 때 이를 알고 있어야 합니다.