728x90
transformer
-
Large Language Model에서 Transformer 란?AI ML 2025. 4. 4. 07:37
Transformer는 문장에서 단어들 간의 관계(의미)를 한꺼번에 파악할 수 있게 해주는 딥러닝 모델 구조예요.RNN이나 LSTM처럼 순차적으로 처리하지 않고, 모든 단어를 동시에(병렬로) 처리할 수 있어서 빠르고 정확합니다. Transformer는 Large Language Model(LLM)의 핵심이자, 지금의 ChatGPT나 GPT-4 같은 모델이 존재할 수 있게 해준 기초 기술이에요. Transformer가 등장한 이유기존에는 RNN, LSTM 같은 순환 신경망이 주로 사용됐어요.이들은 단어를 순서대로 처리하면서 문맥을 이해하지만:너무 긴 문장은 앞뒤 연결이 약해짐 (long-term dependency 문제)병렬 처리가 어려움 → 학습 속도 느림그래서 나온 게 바로 "Attention is ..