AI 변호사시험 정답률 53.3%, 절반 이상 맞췄다

로앤컴퍼니 빅케이스GPT 정답률 53.3%

리걸테크 기업 ‘로앤컴퍼니’는 빅케이스GPT가 제12회 대한민국 변호사시험 객관식 문제에서 정답률 53.3%를 기록했다고 18일 밝혔다.

빅케이스GPT는 인공지능(AI) 기반 통합 법률정보 서비스인 빅케이스와 로앤컴퍼니가 만든 자체 AI시스템이다. 앞서 지난 3월 로앤컴퍼니는 오픈AI의 최신형 언어모델인 GPT-3.5와 GPT-4를 활용해 변호사시험 객관식 문항을 풀도록 했다. 로앤컴퍼니 측에 따르면 정답률은 각각 28.7%와 34%가 나온 것으로 확인됐다.

반응형

변호사시험 객관식 문항은 공법 40문항, 민사법 70문항, 형사법 40문항 등 총 150문항이다. 빅케이스GPT는 이 문항들 가운데 공법 19개, 민사법 40개, 형사법 21개 등 총 80개를 맞혔다.

로앤컴퍼니는 빅케이스GPT에 GPT-4를 기반으로 증강검색생성기법(RAG·Retrieval-Augmented Generation) 모델과 자체 고안한 프롬프트 엔지니어링을 적용했다. 또한 빅케이스가 갖고 있는 판례 329만 건 중 정보 가치가 높은 판례들을 중심으로 벡터화된 데이터베이스를 구축해 법률 분야 질의에 최적화된 답변을 내놓도록 만들었다.

로앤컴퍼니는 빅케이스GPT에 판례뿐 아니라 빅케이스가 보유한 법령 14만5000건, 결정례 7000건, 유권해석 7000건 등 총 16만 건의 법률정보도 추가로 학습시켰다. 로앤컴퍼니 측은 “빅케이스GPT는 생성형 AI의 최대 한계점으로 꼽히고 있는 할루시네이션(정보 왜곡 현상)을 제로에 가깝게 통제해 데이터의 신뢰성을 대폭 강화한 것이 특징”이라며 “반복적인 테스트를 통해 빅케이스GPT가 가짜 판례나 법령을 제시하지 않는 수준에 이른 것에 대한 검증을 마쳤으며, 향후 지속적인 품질관리(QA)를 거쳐 이를 완벽하게 제거할 예정”이라고 설명했다.

앞으로는 빅케이스GPT에 다수의 언어 모델과 자체적으로 개발한 최적의 언어 모델을 적용해 본 시스템을 고도화할 계획이다. 이를 통해 내년 상반기 중 ‘슈퍼로이어’(Super Lawyer)라는 AI 기반의 변호사향 기업간거래(B2B) SaaS 서비스를 신규 출시할 예정이다. 법률 메모 생성, 법률서면 요약, 법률 질의응답 등을 제공해 변호사 업무 효율 제고에 기여하는 것이 목표다.

김본환 로앤컴퍼니 대표는 "한국어와 대한민국 법률에 최적화된 언어 모델로 개발될 슈퍼로이어는 변호사를 돕는 AI 법률 비서와 같이 구동되며 변호사의 업무효율을 극대화하는 역할을 맡게 될 것"이라고 말했다.

 

기사 출처 : https://view.asiae.co.kr/article/2023101808452327023

변호사시험 본 AI…절반 이상 맞혔다 - 아시아경제