추천의 글
들어가며
이 책의 대상 독자와 사전 지식
이 책의 구성과 학습 로드맵
이 책을 효과적으로 읽는 법
예제 파일과 실습 환경

Chapter 1 언어 모델

1 언어 모델 이전의 텍스트 표현: 백오브워즈
2 언어 모델의 개념과 원리
3 인공 신경망 기반 언어 모델
4 Seq2Seq와 인코더-디코더 구조

Chapter 2 트랜스포머 아키텍처와 LLM 핵심 기술

1 트랜스포머 아키텍처
2 어텐션 메커니즘의 작동 원리
3 다양한 트랜스포머 모델 분석
4 사전학습의 개념과 주요 방식
5 허깅페이스 허브 활용하기
6 텍스트 생성의 디코딩과 샘플링 기법
7 LLM 토크나이저와 챗 템플릿

Chapter 3 LLM 파인튜닝과 학습 효율화

1 파인튜닝의 개념과 원리
2 파인튜닝의 등장 배경과 현재 역할
3 지시사항 튜닝
4 PEFT: 효율적인 파인튜닝 기법
5 [실습] 파인튜닝: 뉴스 기사 요약 및 키워드 추출

Chapter 4 비전 언어 모델과 Qwen3-VL

1 VLM을 위한 비전 인코더
2 Qwen3-VL의 구조
3 Qwen3-VL의 학습
4 [실습] Qwen3-VL로 패션 상품 속성 추출

Chapter 5 펑션 콜링 에이전트 파인튜닝

1 펑션 콜링의 이해
2 [실습] 파인튜닝: 쇼핑몰 멀티턴 챗봇
3 [데모] 함수를 호출하는 멀티턴 상담 챗봇

Chapter 6 LLM 추론·서빙 최적화

1 어텐션 연산과 메모리 최적화
2 KV 캐시 최적화
3 서빙 배치 관리
4 추론 가속화 기법
5 LLM 서빙 프레임워크

Chapter 7 Reasoning LLM과 강화학습

1 Reasoning LLM의 개념과 등장 배경
2 Reasoning LLM의 핵심 기술
3 DeepSeek-R1의 특징과 학습 원리
4 [프로젝트] MiniR1 추론 모델 학습

Chapter 8 RAG 시스템 구축과 최적화

1 기본 RAG 파이프라인 설계
2 랭체인으로 RAG 파이프라인 구성하기
3 고급 검색 및 RAG 기법
4 대화 메모리와 히스토리 관리
5 RAG 파이프라인 최적화
6 [프로젝트] 금융 PDF 기반 RAG 챗봇 구축

Chapter 9 도구 호출 에이전트

1 도구 호출 에이전트의 개념과 구조
2 서로 다른 두 축: 펑션 콜링과 ReAct
3 [실습] ReAct: 추론과 행동을 교차하기
4 [실습] 펑션 콜링: JSON 형식으로 도구 호출하기
5 [실습] 예외 처리와 병렬 실행
6 [응용] Text-to-SQL로 데이터베이스 질의하기

마치며
참고문헌
찾아보기

저자 : 에디 유
IT 대기업에서 검색 증강 생성(RAG)과 AI 에이전트 시스템을 개발하고 있습니다. LLM 기반 서비스 구축에 깊은 관심을 두고 있으며, 최근에는 AI 에이전트의 추론 능력을 높이기 위한 파인튜닝 연구에 집중하고 있습니다. 지은 책으로 『LLM과 RAG로 구현하는 AI 애플리케이션』, 『한 번에 끝내는 라마인덱스×RAG×AI 에이전트』, 번역한 책으로 『이론부터 실전까지 AI 에이전트 완벽 마스터』가 있습니다.

저자 : 양기빈
AI와 데이터를 활용해 산업의 효율성을 높이는 것을 목표로 커리어를 쌓아가고 있습니다. LLM과 임베딩 기술을 중심으로 연구와 프로젝트를 수행해 왔으며, 게임사를 거쳐 현재 통신사에서 AI 엔지니어로 근무하고 있습니다. 산업 현장에 필요한 AI 에이전트를 개발하며, AI 기술을 실제 업무와 산업 프로세스에 적용해 실질적인 가치를 만드는 데 집중하고 있습니다. 지은 책으로 『랭체인과 RAG로 배우는 실전 LLM 애플리케이션 개발』이 있습니다.

저자 : 장지선
AI와 데이터를 활용해 실제 비즈니스 문제를 해결하는 연구와 프로젝트를 수행하고 있습니다. 현재 대기업 S사에서 데이터 사이언티스트로 근무하며, LLM과 AI 에이전트 기반의 다양한 서비스를 개발하고 있습니다. 자연어 처리(NLP)와 그래프 신경망(GNN) 분야를 연구해 관련 논문을 게재했으며, 최근에는 LLM과 에이전틱 AI를 활용한 지식 검색과 업무 자동화, AI 서비스 개발에 집중하고 있습니다. 최신 AI 기술을 누구나 쉽게 이해하고 직접 구현할 수 있도록 지식과 경험을 공유하는 데 관심이 많습니다. 지은 책으로 『랭체인과 RAG로 배우는 실전 LLM 애플리케이션 개발』이 있습니다.

저자 : 조수현
자연어 처리와 LLM 기술로 비즈니스 현장의 혁신을 이끄는 것을 목표로 커리어를 쌓아가고 있습니다. 인공지능 전문 기업과 현대카드를 거쳐 현재 대기업 금융권에서 데이터 사이언티스트로 근무하고 있습니다. 특히 sLLM과 RAG 기술에 깊은 관심을 두고 있으며, 언어 모델에 사람의 페르소나 지식을 내재화하거나 대화 문맥으로 심리적 프로파일을 모사하는 등 LLM 기반 행동 시뮬레이션과 개인화 연구를 이어가고 있습니다. 이러한 연구를 바탕으로 실제 산업과 업무에 적용할 수 있는 AI 에이전트를 구현하는 데 집중하고 있습니다. 지은 책으로 『랭체인과 RAG로 배우는 실전 LLM 애플리케이션 개발』이 있습니다.

모델을 '빌려 쓰는' 시대에서 '만들어 쓰는' 시대로
원리에서 구현까지, LLM 개발의 전체 흐름을 익힌다

LLM API를 호출해 서비스를 만드는 것과 모델을 제대로 이해하고 다루는 것은 다른 문제입니다. 목적에 맞게 모델을 학습하고 최적화하며, 실제 서비스 환경에서 안정적으로 운영하려면 모델과 시스템을 함께 이해해야 합니다.

LLM 개발에는 모델의 작동 원리를 이해하는 일부터 목적에 맞게 학습하고, 빠르게 서빙하며, RAG와 에이전트로 실제 시스템을 구축하는 일까지 서로 다른 영역의 지식이 필요합니다. 이 책은 이 과정을 개별 기술의 나열이 아니라 하나로 이어지는 엔지니어링 흐름으로 설명합니다.

언어 모델의 원리부터 트랜스포머까지 깊이 이해한다

BoW와 N-gram에서 RNN, LSTM, Seq2Seq를 거쳐 트랜스포머에 이르는 언어 모델의 발전 과정을 따라갑니다. 셀프 어텐션의 작동 원리를 수식과 메커니즘 수준에서 이해하고, 그리디 디코딩, 빔 서치, Top-k, Top-p 등 주요 디코딩 전략까지 익혀 LLM의 탄탄한 기초를 다집니다.

모델을 학습하고, 최적화하고, 빠르게 서빙한다

SFT와 LoRA, QLoRA 같은 PEFT 기법으로 모델을 효율적으로 파인튜닝하고 평가합니다. VLM과 툴콜링 모델의 파인튜닝까지 경험하며 목적과 데이터에 맞게 모델을 조정합니다.

이어 FlashAttention, PagedAttention, MQA/GQA, KV 캐시, 연속 배치 등 추론·서빙 최적화의 핵심 원리를 이해하고 vLLM 기반 서빙으로 연결합니다. DeepSeek-R1과 GRPO를 통해 강화학습 기반 추론 모델의 원리를 살펴보고, MiniR1의 추론 능력을 직접 훈련하고 평가합니다.

고급 RAG와 에이전트로 실제 AI 시스템을 구축한다

Docling을 활용한 문서 처리부터 BM25와 벡터 검색을 결합한 하이브리드 검색, HyDE, 크로스 인코더 리랭킹, 캐싱까지 고급 RAG 기법을 단계적으로 적용합니다.

이어 ReAct와 툴콜링, 예외 처리, 동시 도구 실행, Text-to-SQL을 활용해 외부 도구와 데이터를 연결하고 실제 문제를 해결하는 에이전트 시스템을 구현합니다.

배운 기술은 프로젝트로 완성한다

뉴스 요약과 키워드 추출, 패션 속성 추출, 멀티턴 상담 챗봇, MiniR1 추론 훈련, 금융 PDF RAG, 병원 DB 질의 챗봇까지 다양한 프로젝트를 구현합니다. RunPod를 활용한 GPU 학습, vLLM 기반 서빙, 모델 평가 등 실제 개발 과정도 경험합니다.

트랜스포머의 원리를 이해하는 데서 시작해 모델을 학습하고 서비스하며, RAG와 에이전트로 확장하는 과정까지. 흩어져 있던 LLM 기술을 하나의 개발 흐름으로 연결하고 싶은 독자에게 필요한 실전 로드맵입니다.

이런 분께 추천합니다!

· API 활용을 넘어 트랜스포머의 내부 구조와 작동 원리를 깊이 이해하고 싶은 개발자
· 자체 데이터로 모델을 파인튜닝하고 최적화해 목적에 맞게 활용하려는 AI 실무자
· 학습한 모델을 빠르게 서빙하고 실제 LLM 서비스로 구현하려는 개발자
· 고급 RAG와 에이전트까지 연결해 더 완성도 높은 AI 시스템을 구축하고 싶은 엔지니어