內容簡介
本書全程圖解式講解，通過大量全彩插圖拆解概念，讓讀者真正告別學習大模型的枯燥和複雜。
全書分為三部分，依次介紹語言模型的原理、應用及優化。第一部分 理解語言模型（第1~3章），解析語言模型的核心概念，包括詞元、嵌入向量及Transformer架構，幫助讀者建立基礎認知。第二部分 使用預訓練語言模型（第4~9章），介紹如何使用大模型進行文本分類、聚類、語義搜索、文本生成及多模態擴展，提升模型的應用能力。第三部分 訓練和微調語言模型（第10~12章），探討大模型的訓練與微調方法，包括嵌入模型的構建、分類任務的優化及生成式模型的微調，以適應特定需求。
本書適合對大模型感興趣的開發者、研究人員和行業從業者。讀者無須深度學習基礎，隻要會用Python，就可以通過本書深入理解大模型的原理並上手大模型應用開發。書中示例還可以一鍵在線運行，讓學習過程更輕鬆。
作者簡介
Jay Alammar
Cohere總監兼工程研究員，知名大模型技術博客Language Models & Co作者，DeepLearning.AI和Udacity熱門機器學習和自然語言處理課程作者。
Jay的圖解係列文章“The Illustrated Transformer”“The Illustrated DeepSeek-R1”全網瘋傳，累積了幾百萬專業讀者。
Maarten Grootendorst
IKNL（荷蘭綜合癌症中心）高級臨床數據科學家，知名大模型技術博客博主，BERTopic等開源大模型軟件包作者（下載量超百萬），DeepLearning.AI和Udacity熱門機器學習和自然語言處理課程作者。
目錄
譯者序xv中文版序xxi
前言xxiii
第一部分 理解語言模型
第1章 大語言模型簡介3
1.1 什麼是語言人工智能4
1.2 語言人工智能的近期發展史4
1.2.1 將語言表示為詞袋模型5
1.2.2 用稠密向量嵌入獲得更好的表示7
1.2.3 嵌入的類型9
1.2.4 使用注意力機製編解碼上下文10
1.2.5 “AttentionIsAllYouNeed”13
1.2.6 表示模型：僅編碼器模型16
1.2.7 生成模型：僅解碼器模型18
1.2.8 生成式AI元年20
1.3 “LLM”定義的演變22
1.4 LLM的訓練範式22
1.5 LLM的應用23
1.6 開發和使用負責任的LLM24
1.7 有限的資源就夠了25
1.8 與LLM交互25
1.8.1 專有模型26
1.8.2 開源模型26
1.8.3 開源框架27
1.9 生成你的第一段文本28
1.10 小結30
第2章 詞元和嵌入31
2.1 LLM的分詞32
2.1.1 分詞器如何處理語言模型的輸入32
2.1.2 下載和運行LLM33
2.1.3 分詞器如何分解文本36
2.1.4 詞級、子詞級、字符級與字節級分詞37
2.1.5 比較訓練好的LLM分詞器39
2.1.6 分詞器屬性47
2.2 詞元嵌入48
2.2.1 語言模型為其分詞器的詞表保存嵌入49
2.2.2 使用語言模型創建與上下文相關的詞嵌入49
2.3 文本嵌入（用於句子和整篇文檔）52
2.4 LLM之外的詞嵌入53
2.4.1 使用預訓練詞嵌入53
2.4.2 word2vec算法與對比訓練54
2.5 推薦係統中的嵌入57
2.5.1 基於嵌入的歌曲推薦57
2.5.2 訓練歌曲嵌入模型58
2.6 小結60
第3章 LLM的內部機製61
3.1 Transformer模型概述62
3.1.1 已訓練TransformerLLM的輸入和輸出62
3.1.2 前向傳播的組成64
3.1.3 從概率分布中選擇單個詞元（采樣/解碼）66
3.1.4 並行詞元處理和上下文長度68
3.1.5 通過緩存鍵值加速生成過程70
3.1.6 Transformer塊的內部結構71
3.2 Transformer架構的最新改進79
3.2.1 更高效的注意力機製79
3.2.2 Transformer塊83
3.2.3 位置嵌入：RoPE85
3.2.4 其他架構實驗和改進87
3.3 小結87
第二部分 使用預訓練語言模型
第4章 文本分類91
4.1 電影評論的情感分析92
4.2 使用表示模型進行文本分類93
4.3 模型選擇94
4.4 使用特定任務模型96
4.5 利用嵌入向量的分類任務99
4.5.1 監督分類99
4.5.2 沒有標注數據怎麼辦102
4.6 使用生成模型進行文本分類105
4.6.1 使用T5106
4.6.2 使用ChatGPT進行分類110
4.7 小結113
第5章 文本聚類和主題建模114
5.1 ArXiv文章：計算與語言115
5.2 文本聚類的通用流程116
5.2.1 嵌入文檔116
5.2.2 嵌入向量降維117
5.2.3 對降維後的嵌入向量進行聚類119
5.2.4 檢查生成的簇120
5.3 從文本聚類到主題建模122
5.3.1 BERTopic：一個模塊化主題建模框架124
5.3.2 添加特殊的“樂高積木塊”131
5.3.3 文本生成的“樂高積木塊”135
5.4 小結138
第6章 提示工程140
6.1 使用文本生成模型140
6.1.1 選擇文本生成模型140
6.1.2 加載文本生成模型141
6.1.3 控製模型輸出143
6.2 提示工程簡介145
6.2.1 提示詞的基本要素145
6.2.2 基於指令的提示詞147
6.3 高級提示工程149
6.3.1 提示詞的潛在複雜性149
6.3.2 上下文學習：提供示例152
6.3.3 鏈式提示：分解問題153
6.4 使用生成模型進行推理155
6.4.1 思維鏈：先思考再回答156
6.4.2 自洽性：采樣輸出159
6.4.3 思維樹：探索中間步驟160
6.5 輸出驗證161
6.5.1 提供示例162
6.5.2 語法：約束采樣164
6.6 小結167
第7章 高級文本生成技術與工具168
7.1 模型輸入/輸出：基於LangChain加載量化模型169
7.2 鏈：擴展LLM的能力171
7.2.1 鏈式架構的關鍵節點：提示詞模板172
7.2.2 多提示詞鏈式架構174
7.3 記憶：構建LLM的對話回溯能力177
7.3.1 對話緩衝區178
7.3.2 窗口式對話緩衝區180
7.3.3 對話摘要181
7.4 智能體：構建LLM係統185
7.4.1 智能體的核心機製：遞進式推理186
7.4.2 LangChain中的ReAct實現187
7.5 小結190
第8章 語義搜索與RAG191
8.1 語義搜索與RAG技術全景191
8.2 語言模型驅動的語義搜索實踐193
8.2.1 稠密檢索193
8.2.2 重排序204
8.2.3 檢索評估指標體係207
8.3 RAG211
8.3.1 從搜索到RAG212
8.3.2 示例：使用LLMAPI進行基於知識的生成213
8.3.3 示例：使用本地模型的RAG213
8.3.4 高級RAG技術215
8.3.5 RAG效果評估217
8.4 小結218
第9章 多模態LLM219
9.1 視覺Transformer220
9.2 多模態嵌入模型222
9.2.1 CLIP：構建跨模態橋梁224
9.2.2 CLIP的跨模態嵌入生成機製224
9.2.3 OpenCLIP226
9.3 讓文本生成模型具備多模態能力231
9.3.1 BLIP-2：跨越模態鴻溝231
9.3.2 多模態輸入預處理235
9.3.3 用例1：圖像描述237
9.3.4 用例2：基於聊天的多模態提示詞240
9.4 小結242
第三部分 訓練和微調語言模型
第10章 構建文本嵌入模型247
10.1 嵌入模型247
10.2 什麼是對比學習249
10.3 SBERT251
10.4 構建嵌入模型253
10.4.1 生成對比樣本253
10.4.2 訓練模型254
10.4.3 深入評估257
10.4.4 損失函數258
10.5 微調嵌入模型265
10.5.1 監督學習265
10.5.2 增強型SBERT267
10.6 無監督學習271
10.6.1 TSDAE272
10.6.2 使用TSDAE進行領域適配275
10.7 小結276
第11章 為分類任務微調表示模型277
11.1 監督分類277
11.1.1 微調預訓練的BERT模型279
11.1.2 凍結層281
11.2 少樣本分類286
11.2.1 SetFit：少樣本場景下的高效微調方案286
11.2.2 少樣本分類的微調290
11.3 基於掩碼語言建模的繼續預訓練292
11.4 命名實體識別297
11.4.1 數據準備298
11.4.2 命名實體識別的微調303
11.5 小結305
第12章 微調生成模型306
12.1 LLM訓練三步走：預訓練、監督微調和偏好調優306
12.2 監督微調308
12.2.1 全量微調308
12.2.2 參數高效微調309
12.3 使用QLoRA進行指令微調317
12.3.1 模板化指令數據317
12.3.2 模型量化318
12.3.3 LoRA配置319
12.3.4 訓練配置320
12.3.5 訓練321
12.3.6 合並權重322
12.4 評估生成模型322
12.4.1 詞級指標323
12.4.2 基準測試323
12.4.3 排行榜324
12.4.4 自動評估325
12.4.5 人工評估325
12.5 偏好調優、對齊326
12.6 使用獎勵模型實現偏好評估自動化327
12.6.1 獎勵模型的輸入和輸出328
12.6.2 訓練獎勵模型329
12.6.3 訓練無獎勵模型332
12.7 使用DPO進行偏好調優333
12.7.1 對齊數據的模板化333
12.7.2 模型量化334
12.7.3 訓練配置335
12.7.4 訓練336
12.8 小結337
附錄 圖解DeepSeek-R1338
後記349
······
[ 圖解大模型下載地址【免費下載】 ]
最後修改：2025 年 09 月 29 日
© 允許規範轉載