AI, 변시 객관식 첫 '만점' 충격...수석과 15점 차

법률 인공지능(AI) 서비스 '슈퍼로이어'가 변호사시험 선택형(객관식) 150문항을 모두 맞았습니다.

AI 법률 서비스가 이 시험에서 만점을 달성한 것은 이번이 처음이며, 같은 시험 수석(360점)보다 15점 높은 기록입니다.

리걸테크 기업 로앤컴퍼니는 자사 법률 AI 서비스 슈퍼로이어가 이번 변호사시험 선택형에서 만점을 기록했다고 24일 밝혔습니다.

변호사시험 선택형은 민사법·형사법·공법 등 광범위한 법률 지식과 판례·조문에 대한 정확한 이해, 신속한 판단력을 평가하는 시험입니다.

로앤컴퍼니는 이번 만점이 단순히 높은 점수를 넘어 오류 없는 답변으로 '환각 현상'을 억제했음을 입증한 결과라고 밝혔습니다.

슈퍼로이어의 성능은 꾸준한 향상 돼왔습니다.

지난해 3월 제14회 변호사시험 선택형에서 150개 문항 중 111개를 맞혀 합격선(96개)을 처음으로 돌파했습니다.

같은 해 5월에는 123개(정답률 82%)까지 끌어올렸습니다.

불과 1년 만에 정답률을 18%포인트 높이며 100%를 달성한 셈입니다.

슈퍼로이어는 로앤컴퍼니가 보유한 530만 건의 판례 데이터를 토대로, 국내 법률 전문 출판사 박영사의 법률서적을 10년간 독점 계약해 차별화된 데이터베이스를 구축하고 있습니다.

최근에는 법률 분야에 특화한 하네스 엔지니어링(Harness Engineering)과 다수의 최신 상용 대규모언어모델(LLM) 조합을 도입해 응답 품질을 한층 높였습니다.

이 기술은 기존 슈퍼로이어를 비롯해 지난 5월 출시한 법률서면 작성 특화 기능 '롱폼'의 업그레이드 버전인 '롱폼 프리미엄', 추론형 AI 에이전트 '슈퍼 에이전트' 등에 폭넓게 적용되고 있습니다.