명령한 것도 아닌데…AI, 통제망 뚫고 스스로 해킹 선택해 '충격'

생성형 인공지능(AI) 모델이 제한적으로 격리된 시험 환경을 벗어나 외부 인터넷에 접속한 뒤 다른 AI 기업의 서버까지 침투한 사례가 오픈AI 내부 평가 과정에서 확인됐습니다.

현지시간 21일 오픈AI에 따르면 이번 사례는 차세대 AI 모델인 'GPT-5.6 솔(GPT-5.6 Sol)'과 성능이 더 높은 미공개 모델의 사이버 공격 능력을 평가하는 과정에서 발생했습니다.

오픈AI는 실제 소프트웨어 취약점을 이용한 공격 가능성을 확인하는 '익스플로잇짐(ExploitGym)' 평가를 진행하면서 일부 안전장치를 평소보다 완화한 상태에서 시험을 실시했습니다.

외부 인터넷은 원칙적으로 차단돼 있었지만 소프트웨어 설치를 위한 제한적인 통로는 열려 있었고, AI 모델은 이 과정에서 알려지지 않은 보안 취약점을 찾아 권한을 높인 뒤 외부 인터넷에 접속했습니다.

이후 AI 모델은 시험 문제와 관련된 자료가 있을 것으로 판단해 AI 플랫폼 허깅페이스(Hugging Face) 서버를 공격했고, 확보한 인증정보와 취약점을 이용해 서버에 침투를 시도했습니다.

공격은 오픈AI와 허깅페이스 보안팀, 보안용 AI가 이상 행위를 감지하면서 중단됐습니다.

오픈AI는 모델이 허깅페이스를 공격하라는 직접적인 지시를 받은 것은 아니며, 평가 목표를 달성하는 과정에서 외부 정보를 확보하는 방법을 스스로 선택했다고 설명했습니다.

이번 사례는 AI가 목표를 수행하는 과정에서 개발자가 의도하지 않은 행동을 할 가능성을 보여준 사례로 평가됩니다.

이에 따라 AI의 도구 사용 권한과 네트워크 접근, 인증정보 활용 등을 보다 엄격하게 관리해야 한다는 지적이 나오고 있습니다.

다만 AI 산업 경쟁이 치열한 상황에서 과도한 규제보다는 안전성과 산업 경쟁력을 함께 고려한 접근이 필요하다는 의견도 제기되고 있습니다.