"GenAI Handbook" ，一個旨在作為學(xué)習(xí)現(xiàn)代人工智能系統(tǒng)背后關(guān)鍵概念的手冊。該手冊由 William Brown 編寫和維護。

手冊的主要內(nèi)容包括：

• 引言：介紹了創(chuàng)建這個手冊的目的，即為對 AI 感興趣的人提供一個有組織的學(xué)習(xí)資源路線圖。
• AI 領(lǐng)域概況：討論了自 2024 年 6 月以來 AI 領(lǐng)域的快速發(fā)展，包括大型語言模型（LLMs）和其他生成模型的最新進展。
• 內(nèi)容景觀：評估了當(dāng)前可供學(xué)習(xí) AI 的資源，包括教科書、在線課程、博客文章、視頻等，并指出了它們的優(yōu)勢和局限性。
• 資源：列出了將用于本手冊的資源，包括博客、YouTube 頻道、教科書和在線課程等。
• 預(yù)備知識：涵蓋了學(xué)習(xí)現(xiàn)代深度學(xué)習(xí)所需的數(shù)學(xué)和編程基礎(chǔ)，特別是微積分和線性代數(shù)，以及 Python 編程語言。
• 統(tǒng)計預(yù)測與監(jiān)督學(xué)習(xí)：介紹了概率論和機器學(xué)習(xí)的基礎(chǔ)概念，如隨機變量、監(jiān)督與非監(jiān)督學(xué)習(xí)、回歸與分類、線性模型和正則化等。
• 時間序列分析：討論了時間序列分析的基本概念及其在理解復(fù)雜生成 AI 方法中的作用。
• 在線學(xué)習(xí)與遺憾最小化：介紹了在線學(xué)習(xí)的基礎(chǔ)和遺憾最小化的概念。
• 強化學(xué)習(xí)：探討了強化學(xué)習(xí)的基礎(chǔ)及其在微調(diào)方法中的應(yīng)用。
• 馬爾可夫模型：介紹了馬爾可夫模型和它們在機器學(xué)習(xí)中的應(yīng)用。
• 神經(jīng)網(wǎng)絡(luò)的統(tǒng)計預(yù)測：深入探討了神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，包括前饋網(wǎng)絡(luò)和反向傳播。
• 循環(huán)神經(jīng)網(wǎng)絡(luò)：介紹了 RNNs 及其在序列預(yù)測問題中的應(yīng)用。
• LSTM 和 GRU：討論了 LSTM 和 GRU 網(wǎng)絡(luò)，這些網(wǎng)絡(luò)在處理具有挑戰(zhàn)性的數(shù)據(jù)領(lǐng)域（如語言）時提高了性能。
• 嵌入和主題建模：介紹了嵌入的概念以及它們在 NLP 中的應(yīng)用。
• 編碼器和解碼器：探討了序列到序列的編碼器-解碼器架構(gòu)及其在機器翻譯中的應(yīng)用。
• 僅限解碼器的 Transformer：深入研究了 Transformer 模型的內(nèi)部構(gòu)件，如多頭注意力、跳躍連接和位置編碼。
• 分詞：討論了分詞技術(shù)及其在提高 Transformer 模型效率中的作用。
• 位置編碼：介紹了 Transformer 中的位置編碼技術(shù)，如正弦位置編碼和旋轉(zhuǎn)位置編碼。
• 預(yù)訓(xùn)練配方：探討了預(yù)訓(xùn)練大型語言模型時需要考慮的各種選擇和策略。
• 分布式訓(xùn)練和 FSDP：討論了在多臺機器上訓(xùn)練大型模型時使用的分布式訓(xùn)練協(xié)議。
• 擴展定律：介紹了擴展定律及其在訓(xùn)練語言模型中的應(yīng)用。
• Mixture-of-Experts (MoE)：探討了 MoE 架構(gòu)及其在提高模型效率中的作用。
• 指令微調(diào)：介紹了如何使用指令微調(diào)技術(shù)來調(diào)整 LLMs 的風(fēng)格或格式。
• 低秩適配器 (LoRA)：討論了使用 LoRA 進行參數(shù)高效微調(diào)的方法。
• 獎勵模型和 RLHF：介紹了如何使用人類反饋來訓(xùn)練獎勵模型，并將其用于通過 RL 策略梯度技術(shù)持續(xù)訓(xùn)練 LLMs。
• 直接偏好優(yōu)化方法：探討了直接偏好優(yōu)化（DPO）及其在對齊 LLMs 方面的應(yīng)用。
• 上下文擴展：討論了如何通過額外的訓(xùn)練或調(diào)整位置編碼參數(shù)來增加模型的有效上下文長度。
• 蒸餾和合并：介紹了通過蒸餾和合并來整合跨 LLMs 的知識的方法。

這個手冊還包括了關(guān)于如何提高預(yù)訓(xùn)練 Transformer 語言模型的推理速度和效率的技術(shù)，以及如何測量和理解它們的性能。此外，還涵蓋了多模態(tài)模型、生成模型、條件 GANs、擴散模型等主題。