內容簡介
AI領域的基石王者,那些還沉迷於CNN，RNN的工程師被警告：放棄戰鬥吧，向Transformer投降！
在過去的二十年中，自然語言處理研究領域發生了翻天覆地的變化。在這段時間裏，自然語言處理經歷了不同的處理範式，並最終進入了一個由神奇的Transformer體係結構主導的新時代。Transformer深度學習架構是通過繼承許多方法而產生的，其中包括上下文詞嵌入、多頭注意力機製、位置編碼、並行體係結構、模型壓縮、遷移學習、跨語言模型等。在各種基於神經的自然語言處理方法中，Transformer架構逐漸演變為基於注意力的“編碼器-解碼器”體係結構，並持續發展到今天。現在，我們在文獻中看到了這種體係結構的新的成功變體。目前研究已經發現了隻使用Transformer架構中編碼器部分的出色模型，如BERT(BidirectionalEncoderRepresentationsfromTransformers,Transformers雙向編碼表示);或者隻使用Transformer架構中解碼器部分的出色模型，如GPT(GeneratedPre-trainedTransformer,生成式的預訓練Transformer)。
本書涵蓋了這些自然語言處理方法。基於HuggingFace社區的Transformer庫，我們能夠輕鬆地使用Transformer。本書將循序漸進地提供各種自然語言處理問題的解決方案：從文檔摘要到問題回答係統。我們將看到，基於Transformer,可以取得最先進的成果。
讀者對象
本書麵向深度學習研究人員、自然語言處理從業人員、機器學習/自然語言處理教育者，以及希望開啟Transformer體係結構學習之旅的學生群體。為了充分掌握本書的內容，要求讀者具有初級水平的機器學習知識，以及良好的Python基礎知識。
作者簡介
本書由SavasYldmnm專業人士編寫
薩瓦斯·伊爾蒂利姆(SavasYldmnm)畢業於伊斯坦布爾技術大學計算機工程係，擁有自然語言處理(NaturalLanguageProcessing,NLP)專業的博士學位。目前，他是土耳其伊斯坦布爾比爾基大學的副教授，也是加拿大瑞爾森大學的訪問研究員。他是一位積極熱情的講師和研究員，具有20多年教授機器學習、深度學習和自然語言處理等課程的豐富經驗。他開發了大量的開源軟件和資源，為土耳其自然語言理解社區做出了重大貢獻。他還為人工智能公司的研究開發項目提供全麵的谘詢服務。
目錄
Transformer到底是什麼，讓ChatGPT如此迷戀？這隻變形金剛，到底是隻什麼怪獸？
——用於自然語言處理（NLP）的神經網絡架構
第1章從詞袋到Transformer。本章簡要介紹了自然語言處理的歷史，並將傳統方法、深度學習模型(如CNIN、RNN和LSTM)與Transformer模型進行了比較分析。
第2章Transformer的實踐操作入門。本章深入探討了如何使用Transformer模型，並通過實際例子闡述了分詞器和模型，如BERT。
第3章自編碼語言模型。本章討論了如何從零開始在任何給定語言上訓練自編碼語言模型。訓練過程將包括模型的預訓練和特定任務的訓練。
第4章自回歸和其他語言模型。本章討論了自回歸語言模型的理論細節，並引導讀者如何在自己的語料庫中對模型進行預訓練。讀者將學習如何在自己的文本上預訓練任何語言模型(如GPT-2),並在各種任務(如語言生成)中使用該模型。
第5章微調文本分類語言模型。在本章中，讀者將學習如何配置文本分類的預訓練模型，以及如何微調文本分類下遊任務的模型(如情感分析或多類別分類)。
第6章微調標記分類語言模型。本章講述如何微調標記分類任務的語言模型[如命名實體識別(NER)、詞性標注(POS)和問題回答(QA)係統]。
第7章文本表示。在本章中，讀者將學習文本表示技術以及如何有效地利用Transformer體係結構，特別是對於無監督任務，如聚類、語義搜索和主題建模。
第8章使用高效的Transformer。本章展示了如何使用提煉、剪枝和量化方法，從預訓練模型中生成高效的模型。然後，讀者將獲得有關高效稀疏Transformer的知識，如Linformer和BigBird，以及如何使用這些模型。
第9章跨語言和多語言建模。在本章中，讀者將學習多語言和跨語種語言模型預訓練以及單語言和多語言預訓練之間的差異。本章涉及的其他主題包括因果語言建模和翻譯語言建模。
第10章部署Transformer模型。本章將詳細介紹如何在CPU/GPU環境中，為基於Transformer的自然語言處理解決方案提供服務。本章還將描述如何使用TensorFlow擴展(TFX)部署機器學習係統。
第11章注意力可視化與實驗跟蹤。本章涵蓋兩個不同的技術概念：注意力可視化與實驗跟蹤。我們將使用諸如exBERT和BertViz之類的複雜工具進行實驗練習。
······