<figure class="image" style="text-align: right;"><img src="https://cdn.eyesmag.com/content/uploads/posts/2023/08/01/newmain-ad95f93a-60c1-418f-a66b-39146ce38ebb.jpg" />
<figcaption>GETTY IMAGES</figcaption>
</figure>
인간 고유의 &lsquo;유추 추론&rsquo; 능력
챗GPT가 인간만의 고유 능력으로 여겨져 온 '유추 추론'을 대학생 수준으로 할 수 있는 것으로 나타났다. UCLA 연구팀은 지능검사와 SAT 같은 표준화된 시험에 사용되는 종류의 추론 문제를 개발하여 챗GPT에 테스트하고 같은 문제를 학부생 40명에게 풀게 했다. 그랬더니 챗GPT는 대부분 분야에서 대학생들과 비슷하거나 높은 수준의 추론 성능을 보였다고. 평가에 사용된 문제는 레이븐 지능검사 도형 유추, 텍스트 기반 행렬 추론, 문자열, 단어, 스토리 유추 등으로 주어진 예시에서 패턴을 파악하고 다음 상황에 맞는 답을 찾는 것이었다. 예를 들어 단어 유추의 경우, '사랑 : 증오 = 부자 : ?'에서 '가난'이라는 해답을 찾는 식.
그러나 챗GPT가 일부 분야에서는 매우 쉬운 문제에도 말도 안 되는 답을 내놓는 등 실패 사례도 다수 보인 것으로 밝혀졌다. 대학생들보다 SAT 점수는 더 높았지만 스토리 유추에서는 학생들보다 성적이 낮았으며, 특히 물리적 공간 이해가 필요한 도구 사용 문제는 잘 풀지 못했다고.
한편, 오픈AI사가 내부 작동 방식을 공개하지 않아 챗봇이 인간의 추론을 모방하는 것인지, 근본적으로 새로운 종류의 인지 프로세스를 사용하는 것인지는 알려지지 않았다.

챗GPT, 대학생 수준의 추론 성능 갖췄다?

관련 기사

최신 기사