LLM 대규모언어모델에 대해 알아보자

📍 LLM 대규모 언어모델이 뭘까?

LLM은 Large Language Model(대규모 언어 모델)의 약자로, 인간의 언어를 이해하고 생성할 수 있는 인공지능(AI) 모델이다. 대표적으로 OpenAI의 GPT 시리즈, Google의 Gemini, Meta의 Llama 등이 포함 된다. 

이 모델들은 대량의 텍스트 데이터를 학습해서 문장을 이해하고 새로운 텍스트를 생성하는 능력을 가진다.
예를 들어, 질문에 답변하거나, 글을 작성하거나, 번역, 요약 등을 할 수 있다. 

최근에는 GPT-4 같은 고급 모델이 비즈니스, 교육, 개발, 콘텐츠 제작 등 다양한 분야에서 활용되고 있어. LLM을 사용하면 생산성을 높이고 창의적인 작업을 더 쉽게 할 수 있다. 

📍 LLM에 대해 더 쉽게 알아보자

◑ LLM(대규모 언어 모델)이 뭐냐면…

LLM은 엄청 똑똑한 로봇 친구라고 생각하자. 🤖
이 친구는 세상의 많은 책, 뉴스, 이야기를 읽고 배워서, 사람처럼 말을 하거나 글을 쓸 수 있다. 

◑ LLM은 어떻게 똑똑해질까?

1. 책, 뉴스, 인터넷 글 같은 걸 왕창 읽을 수 있음! (이걸 "말뭉치"라고 한다.)
2. 배운 내용을 기억하면서, 어떤 단어가 자주 나오는지 공부한다.
3. 사람들이 하는 말처럼 자연스럽게 대답할 수 있게 된다. 

◑ LLM이 할 수 있는 일은?

🔸질문에 대답하기
🔸동화나 이야기 만들어 주기
🔸글 정리해 주기
🔸영어 번역해 주기
🔸숙제 도와주기 (하지만 100% 맞지는 않을 수도 있다.)

즉, LLM은 엄청 많이 배운 AI 친구라서 우리가 궁금한 걸 물어보면 똑똑하게 대답해 준다고 이해하면 되겠다. 

📍 언어 말뭉치와 LLM이 같은 것일까?

언어 말뭉치(코퍼스, corpus)는 특정 언어로 된 텍스트 데이터를 모아놓은 집합이야. 쉽게 말하면, 사람들이 실제로 사용한 문장, 문서, 대화 기록 등을 모은 데이터셋이라고 보면 된다. 

◑ LLM ≠ 언어 말뭉치

LLM은 언어 말뭉치를 학습해서 만들어진 AI 모델이다. 즉, LLM이 언어 말뭉치는 아니고, 말뭉치를 학습해서 언어를 이해하고 생성하는 능력을 갖게 되는 것이다. 

📚 언어 말뭉치의 예시

• 일반 텍스트 말뭉치: 뉴스 기사, 책, 위키피디아, 블로그 등
• 구어 말뭉치: 채팅 기록, 대화 데이터, 인터뷰 기록 등
• 전문 분야 말뭉치: 법률 문서, 의학 논문, 기술 매뉴얼 등

LLM은 이런 다양한 말뭉치를 학습해서 자연스러운 문장을 만들어내는 것이다.

관련 글 읽기

구글 ImageFX 무료지만, 상업적 사용 가능할까?

질문의 퀄리티를 높이는 ChatGPT 치트키 7가지와 봇 활용법/문단열 화상수업후기

Chat GPT로 해외 원서, 손쉽게 번역하고 읽자

전세계인 가장 많이 쓴 AI Top50 Web & APP 사이트 바로가기

 

국립국어연구원 모두의 말뭉치 워크숍 강연 영상 : 언어 AI 기술 발전 흐름

오늘의 갈무리 (한국어 학습데이터 DB가 필요할 경우 해외 서비스 추천 / 국립국어원 모두의 말뭉