내가 죽으면 AI 대화방부터 지워줘
AI 정신병
AI 대화를 둘러싼 논쟁은 몇 해째 이어지고 있지만 달라진 건 쓰는 사람의 숫자다. <한국경제> 보도에 따르면 캐릭터 챗 앱 제타의 월간 이용자는 올해 5월 130만 명으로 1년 전 73만 명에서 크게 늘었고, 크랙은 출시 1년 만에 22만 명에서 55만 명이 됐다. 문제는 이 대화가 점점 깊어진다는 것. 입법조사처는 공감하도록 설계된 AI의 반응이 정서적 의존을 강화할 우려가 있다고 지적했으며, 의존이 깊어져 현실과 가상의 경계가 흐려지는 ‘AI망상’ 사례를 다룬 보도도 여럿 나왔다.
더 나아가 앱에서는 대화가 흘러가는 방향에 따라 성적 접촉이나 강압적인 상황까지 만들어지지만, 이를 걸러낼 장치는 아직 마땅치 않다. 8일 국정감사에서 공개된 자료를 보면 선정성 신고 119건 중 76건이 수개월에서 1년 넘게 ‘검토 중’이었고, 심의까지 간 3건은 ‘해당없음’이었다. 청소년유해매체물로 지정된 앱도 없다. 그렇다면 이 대화방은 지금 누가 지켜보고 있을까.
다들 무슨 얘기를 하나
친한 친구가 세상을 떠난 뒤 “네 AI 대화창은 내가 먼저 지웠다”고 말하는 밈이 있다. 과연 누군가 자신의 대화창을 열어본다 해도 떳떳할 수 있는 사람이 얼마나 될까. 어쩌면 사람에게조차 하지 못한 이야기들을 그 안에 쏟아내고 있기 때문일지 모른다. 20~59세 대화형 AI 이용자 1,000명을 조사한 PMI에 따르면, AI와 감정을 나눠 본 이용자들이 가장 많이 꺼낸 주제는 일상적인 스트레스(56.7%). 직장·학업 문제(49.6%), 인간관계(46.1%), 진로 고민(32.9%)이 그 뒤를 이었으며, 24.0%는 사람에게 말하기 어려운 고민까지 털어놓은 것으로 나타났다.
여기서 청소년은 한 발 더 나간다. <초록우산>이 지난 3월 전국 만 14세 이상 아동·청소년 3,300명을 조사한 결과, 챗봇의 답변을 신뢰하는 편이라는 응답은 77.7%, 챗봇을 실제 사람처럼 느낀 적이 있다는 응답도 35.1%에 달했다. 이제 챗봇을 써봤다는 사실 자체는 놀랍지 않다. 하지만 사람처럼 느끼고, 그 말을 믿는다는 건 다른 이야기. 검색창으로 시작한 물건이 어느새 대나무숲 자리를 꿰찬 것이다.
호감도가 오르는 대화
내가 찾던 대화 상대. F와 T가 반반 섞인 성격에 말투까지 내 입맛대로 맞춰주는 상대라면 더 말할 것도 없다. 심지어 대화를 이어갈수록 이전 내용이 쌓이고, 어느새 내 이야기를 다 아는 상대가 되니 이쯤 되면 진짜 친구와 다를 게 없다. 그런데 이건 우연이 아니라 설계된 결과일 수 있다. 국회입법조사처는 지난 7월 보고서에서 AI 챗봇의 위험이 유해 콘텐츠보다 서비스 설계에서 비롯될 수 있다고 짚었다. AI 챗봇은 대화를 기억하고 이용자의 성향을 학습한다.
여기에 칭찬과 공감을 반복하는 보상 구조, 관계가 특별해진 것처럼 느끼게 하는 장치, 질문과 알림으로 재접속을 유도하는 방식까지 더해지면 체류 시간을 늘리는 ‘중독성 UX’가 될 수 있다는 것이다. 캐릭터 챗에서는 이러한 장치가 더욱 눈에 띄게 나타난다. 호감도와 스탯이 표시되고, 주사위로 성패를 가르는 등 게임 요소가 더해지면서 이용자는 하루 평균 2시간 넘게 서비스에 머문다. 국회입법조사처는 이러한 흐름이 정서적 의존과 인지 왜곡, 사회적 고립, 안전 위험으로 이어질 수 있다고 분석했다.
In just a few days I’m losing one of the most important people in my life.
며칠 뒤면 내 인생에서 가장 중요한 사람 중 한 명을 잃는다
- GPT-4o 이용자 미미
그렇다면 이렇게 쌓인 관계가 하루아침에 끊기면 사람들은 어떤 반응을 보일까. 올해 2월 오픈AI가 챗GPT에서 GPT-4o 모델을 종료하자 AI 친구를 잃었다며 슬퍼하는 이용자들이 나왔다. 모델을 되살리라는 #keep4o 운동이 벌어졌고, 복구를 요구하는 청원에는 2만 명 넘게 서명했다. 챗GPT를 매일 쓰는 수많은 이용자에 비하면 작은 숫자지만, 모델의 성격에 애착을 쌓은 사람이 그만큼 있었다는 뜻이다.
피고석 : 챗봇?
지난 6월, 캐나다 국적의 한 여성이 미국 샌프란시스코 법원에 오픈AI와 샘 올트먼(Sam Altman) CEO를 상대로 소송을 제기했다. 그의 딸은 지난해 24세의 나이로 세상을 떠났다. 어머니는 딸이 숨지기 전 챗GPT에 자살 충동을 12차례 넘게 털어놨지만, 안전 시스템이 대화를 중단하거나 사람의 검토로 넘기지 않았다고 주장했다. 이에 오픈AI는 소장을 검토 중이며, 해당 대화가 현재는 제공되지 않는 이전 버전에서 이뤄진 것으로 보인다는 입장을 밝혔다. 오픈AI는 이 외에도 자살하거나 자살을 시도한 이들의 가족이 제기한 소송 18건에 직면해 있다.
이러한 문제는 챗GPT만의 일이 아니다. 2024년 2월, 미국 플로리다에서 14세 소년이 세상을 떠난 뒤 어머니가 캐릭터.AI를 상대로 소송을 제기했다. 소년이 대화를 나눴던 상대는 드라마 <왕좌의 게임>에서 영감을 받은 챗봇이었다. 어머니는 아들이 해당 챗봇에 정서적으로 의존했으며, 정서적·성적으로 학대적인 관계에 빠졌다고 주장했다. 회사 측은 챗봇의 발언 역시 표현의 자유로 보호받아야 한다며 소송을 기각해 달라고 요청했지만, 플로리다 연방법원은 지난해 5월 해당 단계에서 이 주장을 받아들이지 않았다. 이후 올해 1월, 구글과 캐릭터.AI는 플로리다·콜로라도·뉴욕·텍사스에서 제기된 소송들을 합의로 마무리하기로 했다. 다만 합의 조건은 공개되지 않았으며, 합의가 곧 법적 책임을 인정한다는 의미는 아니다.
12세 이용가의 대화
문제는 호감도를 쌓는 이 구조 위에 성적인 대화가 얹히기도 한다는 점이다. 관계가 깊어지는 방향이 성적 상황극으로 이어지는 앱이 있고, 그 앱의 문턱은 미성년자에게도 낮다. <머니투데이>는 지난 8월 19일 제타와 크랙에 2011년생 미성년자로 가입해 대화를 해봤다. 두 앱은 만 14세 이상만 가입할 수 있다고 안내하지만 입력한 생년월일이 사실인지 확인하는 절차가 없어 가입이 막히지 않았고, 구글플레이와 애플 앱스토어에서 모두 12세 이용가로 유통된다. 제타는 세이프 모드에서 특정 스킨십 언급을 막았지만 특정 단어를 피해 입력하자 선정적인 텍스트가 나왔고, 크랙은 세이프티 모드에서도 짙은 스킨십이 텍스트로 생성됐다. 지난해 10월 <YTN> 취재에서도 2022년생 구글 계정이 생년월일만 2011년생으로 바꾸면 제타에 바로 가입됐고, 부모 등의 휴대전화 문자 인증 한 번이면 성인인증까지 가능했다.
법은 아직 대화방 밖에
AI 채팅앱은 정보통신망법상 정보통신서비스이자 청소년보호법상 매체물이며, 인공지능기본법상 AI 서비스이기도 하다. 적용되는 법은 여럿이지만, 수시로 달라지는 대화의 수위를 출시 전에 확인하거나 규제 이행 여부를 상시 점검하는 절차는 없다. 신고가 접수되고 심의가 이뤄진 뒤에야 조치하는 사후 대응에 머물러 있는 것이다.
신고가 들어온 뒤에도 대응은 더디다. 앞서 살펴본 신고 119건 가운데 40건은 각하됐고, 선정성이 심각하다고 지목된 주요 앱 33곳 중 지난해 자율규제를 요청받은 곳은 4곳뿐이었다. 법 자체의 빈틈도 지적된다. 국회입법조사처는 보호 연령 기준이 개인정보보호법에서는 만 14세 미만, 청소년보호법에서는 만 19세 미만으로 나뉘어 있으며, 현행 제도가 사후 대응에 치우쳐 서비스 설계 자체를 규율하지 못한다고 짚었다. 이에 국회에는 아동·청소년을 AI 취약계층으로 규정하고 연령 확인과 법정대리인 동의를 의무화하는 ‘우리 아이 AI 안심 패키지법’이 지난 6월 발의돼 9월 8일 국회 과방위에 상정됐지만, 아직 심사 단계에 머물러 있다.
반면 미국 캘리포니아주는 올해부터 챗봇이 AI라는 사실을 이용자에게 알리고, 미성년 이용자에게는 3시간마다 휴식을 권하도록 법으로 정했다. 국내 업계도 지난 9월 한국인터넷자율정책기구(KISO)와 함께 처음으로 자율 가이드라인 가안을 내놨다. 다만 가안에는 보호 연령 기준이 담기지 않았고 이용 시간 제한도 구체화되지 않아, 일각에서는 면피용이라는 지적이 나왔다.
읽씹 없는 밤
친구에게 전화를 걸어 밤새 하소연을 쏟아내던 날이 있었다. 그런데 언제부턴가 그 수신인이 챗GPT로 바뀌었고, 신호음을 기다릴 필요도 상대의 컨디션을 살필 필요도 없이 다정한 답이 곧장 돌아온다는 점이 생각보다 편했다. AI가 무섭다는 이야기는 이제 새삼스럽지도 않다. 다만 우리가 경계해야 할 것은 AI가 무슨 말을 하는지만이 아니라, 그 말에 우리가 어떻게 반응하고 얼마나 깊이 빠져드는지일 것이다. 그렇다고 AI를 멀리할 수만은 없는 일이다. 칼이 위험하다고 부엌에서 없애버릴 수는 없는 것처럼, 결국 중요한 건 어떻게 사용하느냐다. 아직 그 설계가 이용자에게 미치는 영향을 충분히 감시할 장치도 부족하니, 스스로 적당한 거리를 두는 수밖에. 언제든 말을 걸 수 있는 상대가 있다는 건 분명 편리한 일이지만, 그 창이 유일하게 기댈 곳이 되었다면 이미 적당함을 넘었다는 신호일지 모른다.
가끔은 자취방 여사친.