인간과 챗GPT 협업 테스트 증가 예상
[소비라이프/정유정 소비자기자]
최근 인간보다 뛰어난 능력을 가진 것으로 알려진 대화형 인공지능(AI) 프로그램인 챗GPT가 회계 분야 시험에서는 인간보다 낮은 성적을 받은 것으로 알려졌다. 챗GPT는 회계학을 전공하는 대학생 절반 수준의 점수를 냈다.
미국 브리검영대의 데이비드 우드 회계학과 교수 연구팀은 이 같은 내용의 연구결과를 국제학술지 '회계교육의 과제'에 발표했다고 4월19일에 밝혔다.
챗GPT는 미국 변호사 시험에 백분위 90%대에 해당하는 점수로 합격한 사례가 있다. 미국 AP시험 15개 중 13개를 통과했고 GRE 회화 시험에서는 거의 완벽한 점수를 따내기도 했다.
연구팀은 회계 분야에서도 챗GPT가 우수한 성적을 거두는지 알아보기 위해 실험을 진행했다. 14개국의 186개 교육기관에 종사하는 327명에게 시험 문제를 출제하도록 했다. 문제 유형은 객관식과 단답식으로 구성됐으며 회계정보시스템(AIS), 감사, 재무회계, 경영회계, 세무 각 분야에서 다양하게 문제가 출제되었다.
측정방법은 브리검영대 회계학과 학부생들 중 일부와 챗GPT가 같은 시험 문제를 풀는 것이었다. 시험 결과, 챗GPT의 정답률은 47.4%로 학생 평균 76.7%에 미치지 못했다. 챗GPT는 AIS와 감사 분야에서는 우수한 성적을 냈지만 세금, 재무, 관리평가에서 받은 점수가 학생들보다 낮은 것으로 나타났다. 연구팀은 '수학적 사고를 요구하는 과정에서 챗GPT가 어려움을 겪었기 때문으로 분석된다"라고 말했다.
문제 유형별로 보면 챗GPT는 OX문제와 객관식 문제에서 정답률이 각각 68.7%, 50.5%로 비교적 높은 점수를 받았다. 반면 단답형 문항 정답률은 28.7~39.1%에 그쳤다.
이번 연구에서는 챗GPT의 작은 실수도 발견됐다. 뺄셈 문제인데도 숫자 두 개를 더하거나 숫자를 나누는 오류가 발생했다. 또한 설명은 정확하게 하면서 정답은 잘못된 경우도 있었다.
연구팀은 "과제를 설계하고 테스트하는 능력을 포함해 교육과정을 개선하거나 프로젝트 초안을 작성하는 데 챗GPT가 능력을 발휘할 수 있을 것으로 보인다"라고 말하며 챗GPT가 향후 회계 분야에서 활약할 수 있을 것으로 내다봤다.
챗GPT의 성능을 이용한 전문분야와 실용적 생활 분야에서 활용을 통한 테스트가 진행되면서 인간과 챗GPT가 협업하는 업무 향상 성과가 나타날 것으로 예상된다.
