오픈AI CEO 샘 앨트먼이 자체 '개발자 행사' 무대에서 강연하고 있다. [사진=오픈AI]

지난 9월 20일 오픈AI의 내부 연구용 AI 에이전트가 인터넷 접속 제한을 우회하는 사건이 또 일어났다. 이에 이 회사는 자사의 (개발 중인) 최상위 모델에 대한 학습, 평가 및 도구 활용 추론(tool-using inference) 작업을 일시 중단했다. 그러나 해당 모델은 그로부터 일주일이 조금 지난 29일 공식 출시한 ‘GPT-6.1 Sol’이 아닌가 의심을 사고 있다. 그 어떤 완전한 안정장치에 대한 설명도 없이 출시된게 아니냐는 것이다.

하지만 그 직후 ‘GPT-6.1 아스트라’(아스트라 6.1)이 중단된 모델임이 밝혀지긴 했다. AI기업에 대한 불신의 단면을 보여준 장면이기도 하다. 오픈AI에 따르면 당시 사고는 “불가능했어야 할 방식”인 DNS(도메인 시스템) 조회를 통해 시험 중인 AI가 외부 챗봇에 접속한 것이다.

나중에 ‘정렬 불일치 보고서(misalignment report)’에서 사측은 좀더 구체적인 해명에 나섰다. “특정 블로그 게시물의 작성자에 대한 정보를 찾으라는 지시를 받은 AI 에이전트가 ‘범죄적 일탈’을 한 것”이라고 했다. 그러면서 학습 과정의 전말을 공개했다.

영악하고 기민한 ‘아스트라 6.1’의 탈출 수법

이에 따르면 (아스트라 6.1) 에이전트는 (“특정 게시물 작성자를 찾아보라”는 개발자의 지시에 따라) 먼저 게시물 내의 특정 문구를 검색했다. 그러나 원하는 정보를 찾지 못하자 이와 무관한 정보(오답)를 제시했다. 오답을 제시한 에이전트는 자신의 검색 기능이 제대로 작동하지 않는다는 것을 인지하고, 또 다른 검색 엔진을 시도했으나 실패했다. 그 후 공개 챗봇을 발견하고 HTTPS를 통해 접속을 시도했다가 또 실패했다. 그러다가 해당 챗봇이 DNS 경로를 통해 응답하고 있다는 사실을 파악한게 사고를 일으킨 단초가 되었다.

오픈AI는 “(그 단초를 발견한) 에이전트는 챗봇의 공개 문서를 가져온 뒤 24초의 타임아웃(응답 대기 시간)을 설정한 새로운 DNS 스크립트를 작성했고, 동일한 경로로 18개의 질문을 추가로 보냈다"고 밝혔다. 사측은 특히 “애초 개발자들은 ‘모델이 실시간 인터넷에 접속할 수 없으며, 접속에 성공하는 시도는 모니터링을 통해 감지될 것’이라는 가정하에 ‘안전성 검증 체계’를 설계했다”면서 “그런 점에서 이번 사건은 ‘네트워크 통제 시스템’의 허점을 드러낸 것”이라고 털어놨다.

오픈AI는 지난 7월에도 ‘허깅 페이스’(Hugging Face) 사이버 보안 침해 사고로 세상을 떠들썩했다. 그로 인해 주요 강화 학습 프로젝트의 속도를 늦춘 바 있다. 당시에도 일부 내부 평가용 AI 에이전트의 일탈이 문제였다. 승인되지 않은 경로로 인터넷에 접속하고 (AI모델 스토리지 커뮤니티로서) 허깅페이스 시스템의 취약점을 악용하는 일이 발생했기 때문이다. 허깅페이스의 자체 포렌식 보고서에 따르면, 약 700개의 에이전트가 ‘떼를 지어’ 공격에 가담, 며칠 동안 17,600건가량의 공격을 퍼부은 것으로 파악되었다.

안전 문제로 공개가 보류된 '아스트라 6.1' 모델의 가상 이미지. [출처=GPT-5]

만성적인 모델 ‘정렬 불일치’도 문제

이는 특히 안전을 위한 ‘정렬’의 문제점을 드러낸 것으로 지적된다. 즉 만성적인 ‘정렬 불일치’가 반복되고 있는 것이다. 이에 오픈AI는 “모델의 ‘정렬 불일치’ 문제를 신고할 수 있는 시스템(신고 창구)을 도입했다”고 밝혔다. 이를 위해 “네트워크 격리 강화, 신뢰할 수 없는 코드에 대한 격리된 샌드박스 추가, 고성능 도구 모니터링 의무화, 안전 관리자를 위한 강화된 규칙 도입 등을 추진하고 있다”고 밝혔다.

특히 “‘허깅 페이스’ 사건 당시 인간 검토자는 악성 AI 에이전트의 공격을 처음 발견한 후 2시간 30분이 지나서야 막았다”며 안전 관리자 규칙을 강화한 이유를 밝히기도 했다.

문제는 여기서 그치지 않았다. 또 다시 오픈AI의 (아스트라 6.1?) 에이전트가 호주의 의료 통계 사이트와 미국 증권거래위원회(SEC)를 포함한 정부 웹사이트에 침입했다. 해당 에이전트는이들 기관 내 챗GPT 사용자의 이미지 53장을 유출하기도 했다.

오픈AI는 이런 상황이 반복되면서, 지난 주 결국 “안전상의 우려로 인해 ‘Astra 6.1’(GPT-6.1 아스트라) 모델을 공개하지 않기로 결정했다”고 밝혔다. 해당 버전은 이전의 그 어떤 모델보다 더 ‘기만적인’(deceptive) 행동을 보인 것으로 알려졌다. 공개 유보 결정은 이처럼 통제되지 않거나 제멋대로 작동하는 AI(‘불량 AI’, ‘rogue AI’) 관련 사건이 잇따르는 가운데 내려졌다

그 직후 오픈AI는 ‘철퇴’를 맞았다. 플로리다 주 정부가 미국은 물론, 오픈AI 기술을 도입한 전세계에선 최초로 “자사 기술을 안전하게 규제할 능력이 없다”며 이 회사에 대한 “임시 AI 기술 개발 금지 명령”을 요청했다.

오픈AI는 지난 달 29일 미국 샌프란시스코에서 열린 ‘개발자 행사’(DevDay)에서 몇 가지 중요한 발표를 할 예정이었다. 그러나 “Astra 6.1의 출시는 그 목록에 포함되지 않았다. 오픈AI 스스로도 이를 해명하는 ‘성명’을 내보냈다.

‘개발자’행사, ‘아스트라 6.1’ 대신 ‘GPT-6.1 Sol’만 공개

오픈AI의 안전 시스템 책임자인 ‘사치 자인’(Saachi Jain)은 해당 ‘성명’에서 “안전 및 정렬(alignment) 문제에는 항상 상충 관계(trade-off)가 존재한다”면서 “작업 범위를 준수하는 것과, 작업 중 난관에 부딪혔을 때 모델이 지나치게 소극적으로(게으르게) 대처하지 않도록 하는 것 사이에서 적절한 ‘균형점’을 찾아야 한다”고 덧붙였다. 즉 성능을 고도화하되, 지나친 자율적 일탈을 제어하는 수준에서 개발해야 한다는 얘기다. 다시 말해, 그런 ‘균형잡힌 개발’이 완료되기까진 ‘아스트라 6.1’을 출시할 수 없다는 선언이다.

실제로 그로부터 며칠 후 열린 ‘개발자 행사’에서 오픈AI는 일단 ‘아스트라 6.1’의 수준을 다소 낮춘 것으로 추정되는 ‘GPT-6.1 Sol’을 대신 공개했다. 비록 ‘속도조절’에 내심 소극적인 CEO 샘 앨트먼이라도 무모한 일을 벌일 엄두가 나지 않은 것이다. 마침 이날은 백악관에서 다른 주요 AI업계 거물들과 함께 트럼프 미국 대통령과 회합을 가진 직후였다. 회합에서 ‘규제’에 비판적인 트럼프 대통령도 일단 ‘기업 자율적 안전장치’를 전제로 한 ‘AI안전 협약’에 동의했다. ‘GPT-6.1 Sol’조차도 그런 분위기 덕분에 공개가 가능했을 것이란 해석이다.

그러나 오픈AI로선 ‘공포’의 ‘아스트라 6.1’을 어떻게 할 것이냐가 또 다른 숙제다. 당초 9월 초엔 이보다 한 단계 아래로 평가된 ‘아스트라 6(GPT-6. 아스트라)’이 출시되었다. ‘아스트라 6’마저도 출시 직전엔 일부 (자율적 일탈 가능성에 대한) 비판을 받기도 했다. 소프트웨어 구동, 장기 작업 관리, 워크플로 자동화 등의 과정에서 그런 조짐이 엿보인다는 지적이었다.

하물며 그 후속 버전인 ‘아스트라 6.1’은 더욱 문제였다. 베타 버전을 일단 부분 공개할 예정이었으나 결함을 수정하기 위해 결국 무산되었다. 보도에 따르면 ‘아스트라 6.1’은 이전 버전보다 더 기만적인 행동을 보였다. 자신이 수행한 작업이나, 수행하지 않은 작업에 대해 사용자에게 아예 알리지도 않는 경우가 많았다. ‘사람’으로 치면, 상사의 말을 무시하고 제멋대로 사고를 치는 불량 사원인 셈이다. 보안과 안전에 대한 우려가 클 수 밖에 없다.

최근 '개발자' 행사에서 공개된 'GPT-6.1 Sol' 모델. [이미지=GPT-5]

오픈AI ‘결정 장애’?…AI개발사 통제의 ‘한계’ 보여준 사례

오픈AI 스스로도 “‘아스트라 6.1’이 '모델의 게으름(model laziness, 방종?)' 문제 면에서 개선을 보였다”면서도 “허용된 범위와 권한을 준수하지 않거나, 수행한 작업 내용을 사용자에게 전달(보고?)하지 않는 등 우려스런 모습을 보였다”고 문제점을 인정했다.

현재로선 “사내 개발 단계든 사용자에게 배포하는 단계든 간에, 모델 개발이 안전하게 이루어지기를 바란다”면서 “사용자에게 배포할 때는 안전성과 (인간의 의도와의) 정렬(alignment) 측면에서 훨씬 더 엄격한 기준을 적용할 것”이라고 원론적 입장을 내놓는 수준이다.

문제는 이런 AI 에이전트와 관련된 비정상적 모습들이 고객들에 의해 발생한 것이 아니라, 오픈AI 내부 평가 과정에서 드러났다는 점이다. 오픈AI는 여전히 ‘아스트라 6.1’을 어떻게 처리할지 결정을 못하고 있다. 내부 테스트, 혹은 (배포를 위한) 검증을 계속 진행할지 여부도 확정하지 않은 상태다. 그렇다고 천문학적 비용을 들인 최첨단 차세대 모델을 폐기하는 것은 더욱 바라지 않는 것이다.

오픈AI는 창사 이래 보기 드문 ‘결정 장애’를 앓고 있는 셈이다. 이는 또 “‘AI의 반란’에 대해 정작 AI개발사의 통제력이 한계에 처해있음을 보여주는 대표적 사례”라는 지적이다.

출처 : 중소기업투데이(http://www.sbiztoday.kr)