第一天

實戰(zhàn) Transformers 模型訓練

1. 數(shù)據(jù)集處理庫 Hugging Face Datasets

2. Hugging Face Datasets 庫簡介

3. 數(shù)據(jù)預(yù)處理策略：填充與截斷

4. 使用 Datasets.map 方法處理數(shù)據(jù)集

5. Transformers 模型訓練入門

6. 模型訓練基類 Trainer

7. 訓練參數(shù)與超參數(shù)配置 TrainingArguments

8. 模型訓練評估庫 Hugging Face Evaluate

大模型高效微調(diào)技術(shù)揭秘

1. PEFT 基于重參數(shù)化（Reparametrization-based）訓練方法

2. LoRA 低秩適配微調(diào) （2021 Microsoft）

3. AdaLoRA 自適應(yīng)權(quán)重矩陣微調(diào) （2023 Microsoft, Princeton, Georgia Tech）

4. QLoRA 量化低秩適配微調(diào) （2023 University of Washington）

5. UniPELT：大模型 PEFT 統(tǒng)一框架（2022）

6. （IA）3：極簡主義增量訓練方法 （2022）

第二天

7. Before PEFT：Hard Prompt / Full Fine-tune

8. PEFT 主流技術(shù)分類介紹

9. PEFT Adapter 技術(shù)

10. Adapter Tuning （2019 Google）

11. PEFT – Soft Prompt 技術(shù)（Task-specific Tuning）

12. Prefix Tuning （2021 Stanford）

13. Prompt Tuning （2021 Google）

14. PEFT – Soft Prompt 技術(shù)（Prompt Encoder）

15. P-Tuning v1 （2021 Tsinghua, MIT）

16. P-Tuning v2 （2022 Tsinghua, BAAI, Shanghai Qi Zhi Institute）

大模型高效微調(diào)工具 Hugging Face PEFT 入門與實戰(zhàn)

1. Hugging Face PEFT 快速入門

2. PEFT 庫是什么？

3. PEFT 與 Transformers 庫集成

4. PEFT 核心類定義與功能說明

5. AutoPeftModels、PeftModel

第三天

6. PeftConfig

7. PeftType | TaskType

8. 實戰(zhàn) PEFT 庫 LoRA 模型微調(diào)

9. OpenAI Whisper 模型介紹

10. 實戰(zhàn) LoRA 微調(diào) Whisper-Large-v2 中文語音識別 3.9.限制控制智能體執(zhí)行

11. AI調(diào)用shell接管控制電腦

實戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

1. 實戰(zhàn)構(gòu)造私有的微調(diào)數(shù)據(jù)集

2. 使用 ChatGPT 自動設(shè)計生成訓練數(shù)據(jù)的 Prompt

3. 合成數(shù)據(jù)： LangChain + GPT-3.5 Turbo

4. 數(shù)據(jù)增強：提升訓練數(shù)據(jù)多樣性

5. 提示工程：保持批量生成數(shù)據(jù)穩(wěn)定性

6. 實戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

7. 使用 QLoRA 小樣本微調(diào) ChatGLM3

8. ChatGLM3 微調(diào)前后效果對比

9. 大模型訓練過程分析與數(shù)據(jù)優(yōu)化