최근 쳇 GPT가 미국 의사시험, 로스쿨과 MBA등 전문직 시험에 통과하였다는 결과가 세상을 놀라게 하고 있다. 한국에서도 ChatGPT가 실력을 발휘할 수 있을까? 애나와 연세대학교 인공지능대학 김시호 교수 연구팀은 실제 수능 문제를 통해 ChatGPT의 실력을 가늠해 보았다.
이번 실험은 2023학년도 대학수학능력시험문제에서 그림이 포함되어 문항의 입력이 불가능한 경우를 제외하고 문제 전체를 입력하고 답을 확인하는 방식으로 진행하였다.
영어 수능 시험에서 듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제에 정답을 맞추어 합산 점수 82점을 취득하였다. 수능 2등급 수준의 능력이다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서는 모두 정답을 맞췄다.
반면 수학 시험에서는 상반된 결과가 나왔다. 공통 과목 분야에서는 20문제 중 6문제에 정답을 맞추었으나, 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 출력하여 ChatGPT의 수학 능력은 아직 현저히 부족한 것으로 나타났다. 기계학습 방법으로 수학을 배우는 ChatGPT의 연산 능력은 한자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈에서 오답을 낼 정도로 정확도가 떨어진다.
ChatGPT사례가 보여주듯, 최근 등장하고 있는 거대 인공지능의 능력은 환호와 동시에 우려를 낳고 있다. 신체의 힘을 사용하는 오래된 직업보다 오히려 전문직 일자리를 빠르게 대체할 가능성이 높으리라는 이야기가 있을 정도다. 그 양상을 예측하고 준비하는 일이 사회적으로 더욱 중요해질 것이다. 다만, 대학교육 현장에 있는 이들은 앞으로 대학교육에 어떤 변화가 일어날 것인지에 대해 관심이 많다.
이번 벤치마킹을 주도한 애나의 이상호 CTO는 “ChatGPT는 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있으며 이러한 요약, 추론 기능을 활용하여 응용할 수 있는 서비스가 무궁무진할 것으로 보이고, 산업계에서는 이에 맞추어 인재 채용에 대한 요구사항이 머지않아 바뀌게 될 것이다”라고 말하였다.
또한 연세대 공학교육혁신센터의 한경희 교수는 멀지 않은 미래에 인공지능의 능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것이며, 인공지능과 동행하게 될 앞으로의 교육에서 새로운 교육 목적과 방법을 고민하지 않는다면, 미래사회에서 대학 교육은 존립의 근거를 잃게 될 지도 모른다고 말하였다.
