y74BTC24디비업자$ㄴ텔레그램ErrorBased?➧ o3·o4 미니 환각률 이전 모델대비 2배 이상비추론형 GPT-4o보다도 자주 환각 빠져오픈AI도 원인 몰라 “더 많은 연구가 필요” 오픈AI와 챗GPT 로고. 로이터 연합뉴스챗GPT 개발사 오픈AI가 최근 새롭게 내놓은 추론형 AI모델 ‘o3’와 ‘o4 미니’의 환각현상이 예전 버전보다 더 심한 것으로 나타났다. 환각은 생성형AI 서비스가 존재하지 않거나 맥락에 맞지 않는데도 그것이 진실인 것처럼 대답하는 현상을 말한다.19일(현지시간) 테크크런치에 따르면 오픈AI는 사람에 대한 모델의 지식 정확도를 측정하는 사내 벤치마크인 퍼슨(Person) QA에서 o3가 33%의 질문에 대해 환각을 일으킨다는 사실을 발견했다.이는 각각 16%와 14.8%를 기록한 오픈AI의 이전 추론 모델인 o1과 o3 미니 대비 2배 이상 높은 것이다.o4 미니는 무려 48%를 기록해 가장 나쁜 성적을 거뒀다.심지어 기존 오픈AI의 비추론 모델인 GPT-4o보다도 더 자주 환각에 빠진 것으로 나타났다.o3와 o4 미니는 지난 16일(현지시간) 오픈AI가 “이미지로 사고할 수 있는 첫번째 모델”이라는 설명과 함께 출시했다. “단순히 이미지를 보는 것 뿐 아니라 시각 정보를 추론 과정에서 직접 통합할 수 있다”는게 회사측 설명이다.실제 두 모델의 경우 사용자가 화이트보드에 그린 그림이나 도표, 그래프 등을 업로드하면 AI가 이를 분석해 답변한다. 특히 흐릿하거나 화질이 낮은 이미지도 이해할 수 있고, 이를 확대하거나 회전하는 등의 작업도 가능하다.코딩능력도 강해 o3의 경우 이를 측정하는 SWE 벤치마크 검증에서 69.1%, o4 미니는 68.1%를 기록했다. 이는 기존 o3 미니(49.3%) 뿐 아니라 앤스로픽의 클로드 3.7 소넷(62.3%) 보다도 높다.문제는 이런 성능 개선과 관계없이 환각 현상은 오히려 이전 버전보다 더 심해졌다는 것이다. 지금까지 새로운 AI모델이 나올 때마다 환각 부분이 조금씩 개선된 것을 감안하면 이는 납득하기 힘들다는게 업계의 분석이다.다만 오픈AI는 이같은 현상의 정확한 원인을 파악하지 못하고 있다. o3와 o4 미니에 대한 기술 보고서에서 오픈AI는 추론 모델 확장이 환각 악화로 이어지는 이유