內容簡介
隨著ChatGPT的出現，大語言模型的能力得到了業內外的認可，新的商業模式不斷湧現，舊的設計和實現都將重構。本書主要介紹基於ChatGPT開發算法相關的應用或服務，側重於介紹與自然語言處理相關的常見任務和應用，以及如何使用類似ChatGPT的大語言模型服務來實現以前隻有算法工程師才能完成的工作。
全書共8章內容，第1章介紹與ChatGPT相關的基礎知識，第2～5章分別介紹相似匹配、句詞分類、文本生成和複雜推理方麵的任務，第6～8章分別介紹ChatGPT的工程實踐、局限與不足，以及商業應用，以幫助讀者更好地構建自己的應用。
本書以實踐為主，尤其注重任務的講解和設計，但同時也對自然語言處理相關算法的基本原理和基礎知識進行科普性介紹，適合所有對大語言模型感興趣的開發者閱讀。
作者簡介
郝少春
某AI大語言模型公司的算法工程師，開源組織Datawhale成員；擁有7年算法和工程架構經驗及豐富的項目和產品經歷，涉及文本、音頻、視頻、圖像等多種模態。
黃玉琳
上海財經大學碩士，京東算法工程師，開源組織Datawhale成員；從事智能供應鏈領域的算法研究及應用工作；主要研究方向為機器學習、自然語言處理、運籌優化。
易華揮
四川大學華西醫院生物大數據中心的科研助理，開源組織Datawhale成員；主要研究方向為多模態表征學習及其在醫學影像分析中的應用；發表頂會論文3篇。
目錄
第1章 基礎知識——大語言模型背後11．1 自然語言背景1
1．1．1 語言是智能的標誌1
1．1．2 從圖靈測試到ChatGPT2
1．2 語言模型基礎6
1．2．1 最小語義單位Token與Embedding6
1．2．2 語言模型是怎麼回事8
1．3 ChatGPT基礎14
1．3．1 最強表示架構Transformer設計與演變14
1．3．2 生成語言模型GPT進化與逆襲18
1．3．3 利器強化學習RLHF流程與思想25
1．4 本章小結30
第2章 相似匹配——萬物皆可Embedding31
2．1 相似匹配基礎31
2．1．1 更好的Embedding表示31
2．1．2 如何度量Embedding相似度36
2．2 ChatGPT接口使用37
2．2．1 Embedding接口37
2．2．2 ChatGPT+提示詞40
2．3 相關任務與應用41
2．3．1 簡單問答：以問題找問題42
2．3．2 聚類任務：物以類聚也以群分50
2．3．3 推薦應用：一切都是Embedding55
2．4 本章小結64
第3章 句詞分類——句子Token都是類別65
3．1 句詞分類基礎65
3．1．1 如何對一句話進行分類68
3．1．2 從句子分類到Token分類71
3．2 ChatGPT接口使用72
3．2．1 基礎版GPT續寫72
3．2．2 進階版ChatGPT指令77
3．3 相關任務與應用82
3．3．1 文檔問答：給定文檔問問題82
3．3．2 模型微調：滿足個性化需要94
3．3．3 智能對話：大語言模型=自主控製的機器人106
3．4 本章小結117
第4章 文本生成——超越理解更智能119
4．1 文本生成任務基礎119
4．2 文本摘要121
4．2．1 什麼是文本摘要121
4．2．2 常見的文本摘要技術121
4．2．3 基於OpenAI接口的文本摘要實驗123
4．3 文本糾錯131
4．3．1 什麼是文本糾錯131
4．3．2 常見的文本糾錯技術132
4．3．3 基於OpenAI接口的文本糾錯實驗135
4．4 機器翻譯136
4．4．1 什麼是機器翻譯136
4．4．2 常見的機器翻譯技術137
4．4．3 基於OpenAI接口的機器翻譯實驗138
4．5 本章小結144
第5章 複雜推理——更加像人一樣思考145
5．1 什麼是複雜推理145
5．2 複雜推理能力的激活和改善147
5．2．1 初步評估ChatGPT的推理能力147
5．2．2 複雜推理能力的激活150
5．2．3 大語言模型複雜推理能力的改善156
5．3 大語言模型複雜推理能力的探討168
5．4 本章小結170
第6章 工程實踐——真實場景大不同172
6．1 評測：決定是否上線的標準172
6．1．1 為什麼評測172
6．1．2 NLU常用評測指標173
6．1．3 NLG常用評測指標175
6．2 安全：必須認真對待的話題178
6．2．1 前/後處理178
6．2．2 提示詞179
6．2．3 可控文本生成179
6．3 網絡：接口調用並不總是成功180
6．3．1 失敗181
6．3．2 延遲182
6．3．3 擴展183
6．4 本章小結185
第7章 局限與不足——工具不是萬能的186
7．1 事實性錯誤186
7．1．1 錯誤示例186
7．1．2 原因分析188
7．1．3 解決方法189
7．2 實時更新190
7．2．1 問題示例190
7．2．2 原因分析191
7．2．3 解決方法192
7．3 性能瓶頸193
7．3．1 背景描述193
7．3．2 原因分析193
7．3．3 解決方法194
7．4 本章小結194
第8章 商業應用——LLM是星辰大海196
8．1 相關背景196
8．2 影響分析197
8．3 商業賦能198
8．4 本章小結204
······
最後修改：2024 年 08 月 13 日
© 允許規範轉載