AI의 기본 작동원리 - 과연 인간을 뛰어넘을 수 있을 것인가?
최근 AI의 열풍이 거세죠. ChatGPT, Perplexity 등 다양한 AI 서비스를 한 번이라도 이용해 보지 않은 사람이 없을 정도입니다.
OPEN AI의 샘 올트먼은 Chat GPT 버전을 새로 공개할 때마다 중요한 발언을 하죠. 인간의 수준을 뛰어넘는 임계점에 임박했다, 또는 이미 뛰어넘었다 등등의 말들을 합니다. 과연 AI는 인간을 뛰어넘을 수 있을까요?
AI의 기본 작동원리 LLM : 다음 단어가 뭐야?
많은 사람들이 인공지능(AI)을 단순히 “기계가 알아서 생각하는 것”이라고 생각합니다. 하지만 실제로 AI의 중심에는 LLM(대형 언어 모델)이라는 기술이 있습니다.
LLM은 어떻게 탄생했을까?
1990년대 이후, 인터넷에는 수많은 전자문서와 게시글이 쌓였습니다. 전자책, 뉴스, 커뮤니티의 대화 등은 모두 방대한 데이터로 남았습니다. LLM은 이런 데이터를 바탕으로 만들어집니다.
빅데이터와 언어의 통계적 분석
수많은 문서와 대화를 통계적으로 분석하면, 인간이 일상적으로 쓰는 단어는 대략 3,000~4,000개 정도면 충분하다는 결과가 나옵니다. (물론 더 깊은 대화에는 더 많은 단어가 필요하긴 하죠.) 2000년대 초반 빅데이터 열풍으로 분석된 결과입니다.
단어의 연결 ― 언어의 규칙
그리고 더 세부적인 분석이 진행되면서 단어의 연결성을 점점 인식하게 됩니다. 언어는 단어들이 무작위로 이어지는 것이 아니기 때문입니다. 앞 단어에 따라 뒤에 올 단어가 어느 정도 일정하게 정해집니다.
- 예시: “오늘은” 이라는 단어 뒤에는 “날씨가”, “기분이”, “밥 먹기가” 등이 자연스럽게 따라올 수 있습니다. 반면 “오늘도”가 반복되어 등장하는 경우는 드물죠. 매우 특수한 상황이 아니라면요.
자동완성과 대화의 차이
이러한 단어 연결 확률이 바로 '자동완성' 기능의 원리입니다. 사용자가 자주 쓰는 표현을 기억해 두었다가 다음에 올 단어를 예측해 입력시간과 노력을 줄여주는 획기적인 기술이었습니다.
하지만 언어의 중요한 기능인 대화에서는 맥락이라는 것도 고려해야 합니다. 싸우는 대화라면 공격적인 언어가, 농담 중이라면 부드러운 표현이 선택됩니다. 즉, 다양한 상황과 맥락의 언어 패턴을 LLM은 병렬적으로 학습합니다.
언어를 확률 게임으로 전환한 모델 : LLM
LLM은 단순히 단어가 등장하는 빈도를 세는 것이 아니라, 다양한 방향과 맥락에서 단어의 연결 가능성을 통계적으로 파악하는 것이라 정리할 수 있습니다.
각 어휘를 중심으로 이전, 이후에 등장할 수 있는 단어들이 확률적으로 모두 연결되어 있는 복잡한 연결망을 구축하는 것이죠.
우리가 대화를 할 때면, 단어들이 끊이지 않고 자연스럽게 계속 뿜어져 나옵니다. 상대방과의 티키타카가 되면서 말이 이어지게 되죠. 이런 말이 나오는 과정이 매우 '즉흥적'이라 생각되지만, LLM에 따르면 확률적으로 이미 거의 모든 내용이 결정된다고 볼 수 있습니다.
'나'라는 단어가 나온 뒤에는 수 천 개의 활자가 등장할 수 있지만, '나는'이 된다면 주어로서 '나는 XX'라는 표현으로 이어질 수도 있는 반면, '날아다니는 XX'라는 표현으로 이어질 수도 있습니다. 그리고 그다음에 오는 글자로 이러한 확률은 점점 좁아지면서 문장은 완성을 향해 갑니다. 전후 맥락이 주어진다면 더 확률적으로 높은 단어들이 연결되겠죠.
LLM은 이처럼 확률적인 게임과 같이 언어를 대할 수 있게 됩니다.
정리하자면 '지금 언어패턴'을 분석하여 '다음에 어떤 표현이 나올 수 있을지' 확률적으로 제시하는 것이 LLM의 핵심입니다.
LLM의 원리로 만들어지는 이미지: 다음 픽셀은 뭐야?
LLM의 원리는 이미지 생성에도 연결이 됩니다. 이미지에서도 픽셀과 픽셀을 연결하는 병렬적이 사고를 통해 그림을 생성하는 것이죠.
인간의 언어로 표현된 다양한 방식의 연결이 그림 생성에도 관여하게 되는 것입니다. 그래서 '더 많은 학습자료'가 있다면 '더 좋은 결과'가 나오게 되는 것입니다.
언어로는 '영어'가 훨씬 좋은 결과를 냈고, 그림으로는 '지브리 스타일'의 그림이 잘 나오는 이유가 아무래도 많은 학습자료가 있기 때문입니다. (지브리 스타일이 잘 나오는 이유는 컬러, 인물디자인 스타일이 일관되게 유지되는 다양한 애니메이션 작품이 존재하는 경우가 사실 많이 없습니다)
AI는 인간을 뛰어넘을 수 있을까?
그렇다면 과연 AI는 인간을 뛰어넘을 수 있을까요?
AI가 인간을 뛰어넘었다는 지표들이 나타나고 있습니다. 예를 들어, SAT 시험과 같은 결과에서 상위 5%의 정답을 맞추었다 등의 결과입니다.
LLM의 원리를 이해하고 나면, 사실 이런 SAT 시험 결과는 너무나도 당연한 수순입니다. 풀어야 할 문제와 정답이 존재하고 있고, 이에 대한 표현양상에 따라 추론하는 경우가 많기 때문입니다. 정답이 명확하게 존재하는 경우에는 AI의 정확도는 너무나도 높아질 수밖에 없고, 정답이 모호할 경우에는 확률적으로 오답이 나올 것입니다.
알파고의 케이스에서도 마찬가지입니다. 수 많은 게임의 데이터를 분석하고, 실시간으로 연결된 확률을 분석한다면 당연히 확률상 승리의 우위를 점할 수밖에 없습니다.
즉, 인간이 만들어낸 문제와 게임이라는 틀 속에서는 AI의 능력은 가히 위대하다고 할 수 있습니다. 인간이 만들어낸 현존 질서 하에서는 AI가 분명 대부분의 인간 수준을 뛰어넘는 능력을 보일 것이라 생각합니다.
그렇다면 인간은 과연 어디에 위치해야 할까요?
인간의 행동 평균치에 해당하는 대부분의 것들은 AI에 의해 예측되고 분석될 수 있습니다. 반대로 이 평균치를 벗어나는 행동에 대해서는 AI의 학습이 미진한 기회의 땅이 된다는 것입니다.
과연 어떠한 부분에서 이런 기회를 찾아야할지가 미래 먹거리의 관건이 될 것 같네요.
댓글