"#1 LLM 설명 (요약버전)"

갱신 2026-07-12

한 줄 요약

대규모 언어 모델(LLM)이 "다음 단어의 확률 분포를 예측하는 정교한 수학 함수"라는 관점에서, 사전 훈련·RLHF·트랜스포머·어텐션의 핵심 메커니즘을 비전공자도 이해할 수 있게 설명하는 입문 영상.

LLM은 주어진 텍스트 뒤에 올 단어를 확정적으로 고르는 게 아니라 "다음 단어들에 대한 확률 분포"를 구하는 함수이며, 가끔 확률이 낮은 단어도 랜덤하게 선택하기 때문에 같은 입력에도 매번 다른 답이 나온다.
ChatGPT의 대화는 "가상의 사용자-AI 대화 텍스트 + 사용자 질문"을 넣고 AI 응답을 한 단어씩 예측해 이어 붙이는 방식으로 작동한다.
모델의 출력은 수백억~수천억 개의 파라미터(웨이트/가중치)로 결정되며, 처음엔 랜덤이던 값들이 역전파(백프로파게이션)를 통한 반복 훈련으로 점점 그럴듯한 예측을 하도록 조정된다.
사전 훈련(프리트레이닝)만으로는 좋은 AI 어시스턴트가 되지 않아, 강화학습 기법인 RLHF로 사람이 선호하는 응답 방향으로 추가 조정한다.
2017년 구글의 트랜스포머 발표 이후, 단어를 순차 처리하던 방식에서 문장 전체를 병렬 처리하는 방식으로 전환됐고 이것이 GPU 병렬 처리와 맞물려 대규모 훈련을 가능하게 했다.
어텐션은 단어 벡터들이 서로 정보를 주고받으며 맥락에 따라 의미를 조정하게 한다(예: "눈"이 "내린다"와 함께면 하늘의 눈, "보는 눈이 많다"면 사람의 눈). 피드포워드 네트워크는 더 많은 언어 패턴을 저장하게 한다.

GPT-3가 학습한 텍스트를 사람이 하루 24시간 쉬지 않고 읽으면 2,600년 이상 걸린다 (자막 기준).
초당 10억 번 연산이 가능한 기계로 언어 모델을 훈련하면 약 1억 년이 걸리며, 그래도 ChatGPT의 절반도 못 만든다고 강조 (사전 훈련 단계 한정, 자막 기준 비유적 수치).
모델 구조는 연구자가 설계했지만 실제 출력은 훈련으로 자동 조정된 수십억 파라미터가 결정하므로, "왜 이 단어를 예측했는지" 설명하기는 매우 어렵다는 해석 불가능성 강조.