LLM 생태계 정리

LLM 생태계는 크게 다음 7가지로 나눌 수 있습니다.

 

1. 모델 (LLMs)

2. 임베딩 (Embeddings)

3. 서빙 및 추론 (Inference/Serving)

4. 파인튜닝/경량학습 (Fine-tuning/LoRA)

5. 검색 기반 강화 (RAG)

6. 프레임워크/오케스트레이션

7. 에이전트 / 도구 실행 (Agents/Tool Use)

 

1️⃣ 모델 (LLMs)

유형대표 모델

상용 API	ChatGPT (GPT-3.5/4), Claude 3, Gemini, Mistral API, Cohere
오픈소스	LLaMA 2/3, Mistral, Mixtral, Falcon, Gemma, Phi, Yi, OpenChat

✅ 대부분 Hugging Face에 올라옴

 

 

2️⃣ 임베딩 (Embeddings)

문장을 벡터로 변환하여 유사도 검색 등에 사용

용도	대표 모델
상용	OpenAI text-embedding-3-small, Cohere
오픈소스	BGE (BAAI/bge-large), E5, GTE, Instructor

 

3️⃣ 서빙/추론 엔진 (Inference & Serving)

목적	도구
고속 추론	vLLM, TGI (Text Generation Inference), HuggingFace Transformers
API 호환	OpenAI-compatible REST API 지원 (vLLM)
배포용	LMDeploy, Ollama, GGML/gguf, LM Studio, TensorRT-LLM

 

4️⃣ 파인튜닝 / 경량 학습

방법	도구
전체 학습	PyTorch + Transformers
경량화	LoRA, QLoRA
라이브러리	peft, bitsandbytes, trl, axolotl

 

5️⃣ RAG (Retrieval-Augmented Generation)

구성 요소	대표 도구
임베딩 저장	Qdrant, FAISS, Weaviate, Chroma
문서 로딩	LangChain loaders, LlamaIndex
최적화 기법	RAG-Fusion, HyDE, Semantic Compression
오케스트레이션	LangChain, LlamaIndex, Haystack

 

6️⃣ 프레임워크 / 오케스트레이션

목적	도구
체인 구성	LangChain, LlamaIndex
파이프라인	Haystack, Semantic Kernel (MS), CrewAI, Flowise
시각화/노코드	Flowise, Dust, Langflow

 

7️⃣ Agent & Tool Use

기능	도구
LLM이 직접 행동 결정	ReAct, Toolformer, AutoGPT, BabyAGI
함수 호출	OpenAI Function Calling, Claude Tool Use, LangChain Tool
브라우저/코드/검색 실행	OpenAgents, AgentLLM, ChatGPT Plugins (2023)

 

🧰 전체 흐름 예시 (RAG 기반 Q&A 서비스 기준)

[PDF 등 문서] ──▶ [LangChain Loader] ──▶ [Embedding Model] ──▶ [Qdrant 저장]

사용자 질문
    ↓
[질문 → Embedding] → [Qdrant 검색] → [관련 문서 + 질문] → [LLM API 호출] → 답변

 

 

📎 최신 트렌드 (2024~2025)

분야	흐름
🧠 모델	LLaMA3, GPT-4-turbo, Claude Opus, Mixtral → 멀티모달화 진행 중
🧩 RAG	MCP 스타일 컨텍스트 구조화, HyDE, Smart Context
💾 자체 구축	vLLM + QLoRA + GPU 클러스터
🧠 AI Agent	Agentic Workflow: LLM이 판단 + 실행
📊 기업 적용	SaaS → Private GPT, Internal RAG + Audit + 보안 강화

 

🎯 요약

카테고리	예시 도구
모델	GPT, LLaMA, Mistral
추론	vLLM, TGI
벡터DB	Qdrant, FAISS
파인튜닝	LoRA, QLoRA, PEFT
프레임워크	LangChain, LlamaIndex
RAG 강화	MCP, HyDE, Semantic Compression
에이전트	AutoGPT, Toolformer, OpenAgents

 

💬 “어디서 시작할까?” 가이드

목적	추천 조합
문서 기반 Q&A	LangChain + Qdrant + vLLM
자체 GPT 구축	Hugging Face 모델 + vLLM + Web UI
고객지원 챗봇	GPT API + LangChain + Function Calling
파인튜닝	LLaMA2 + QLoRA + PEFT
실험/프롬프트 디자인	GPT-4 + Prompt Engineering + LangChain Memory