学习路线
按主题整理已有文章,提供从基础概念到代码实践的推荐阅读顺序。
这里展示的是已有文章的推荐阅读顺序。每个节点都能打开对应笔记;学习进度保存在当前浏览器,可以随时重置。
文本处理、Transformer、微调与 RAG
自然语言与大模型
0 / 10 已读
- 文本处理已有笔记
理解分词、文本表示与预处理的基本流程。
文本处理:让自然语言变成模型能理解的数字 - Word2Vec已有笔记
理解词向量如何学习语义,并连接文本分类任务。
Word2Vec:从词向量训练到神经网络分类器 - Seq2Seq已有笔记
建立编码器与解码器的序列建模直觉。
Seq2Seq:从Encoder-Decoder到Attention与PyTorch实现 - Transformer已有笔记
理解 Q/K/V、注意力与 Transformer 的实现。
Transformer详解:从自注意力手算到PyTorch完整实现 - Mini-GPT已有笔记
用 PyTorch 复现一个字符级因果语言模型。
手写Mini-GPT:从因果语言模型到PyTorch完整实现 - Hugging Face已有笔记
串联模型加载、数据处理与微调流程。
Hugging Face详解:从模型下载到中文文本分类微调 - SFT 原理已有笔记
理解指令微调、对话模板与训练目标。
SFT(一):从Next Token Prediction到指令微调 - LoRA 实践已有笔记
用 TRL 与 LoRA 完成参数高效微调。
SFT(三):使用TRL SFTTrainer与LoRA微调对话模型 - QLoRA已有笔记
理解 4-bit 量化与低显存微调的配合。
SFT(四):QLoRA的4-bit量化与LoRA微调原理 - RAG已有笔记
连接文档切分、向量检索与有来源的回答。
RAG检索增强生成:从向量检索到Hugging Face知识库问答
回归、分类、神经网络与模型评估
机器学习与深度学习
0 / 9 已读
- 线性回归已有笔记
从拟合直线理解损失函数与最小二乘法。
线性回归:从直觉到最小二乘法 - 梯度下降已有笔记
理解参数更新与学习率对收敛的影响。
梯度下降法:机器学习如何一步步找到最优解 - 逻辑回归已有笔记
从连续预测走向分类与概率输出。
逻辑回归:从直线到概率的分类算法 - 正则化已有笔记
理解过拟合与模型复杂度的取舍。
正则化与过拟合:让模型不只记住训练集 - 评估与调参已有笔记
用交叉验证与网格搜索比较模型。
交叉验证与网格搜索:让模型选择更可靠 - 决策树已有笔记
理解决策边界与树的划分过程。
决策树:像做选择题一样理解分类与回归 - 集成学习已有笔记
探索多个学习器如何协同工作。
集成学习:让多个模型一起做决定 - MLP / PyTorch已有笔记
连接神经网络、反向传播与训练代码。
MLP多层感知机:从原理到PyTorch实现 - AdamW已有笔记
理解自适应优化与权重衰减。
AdamW Optimizer:为什么要把权重衰减与梯度更新解耦
建模、复杂度、数学基础、算法设计与理论拓展
算法设计与分析
0 / 7 已读
- 问题建模与算法选择已有笔记
写清输入、输出、约束与目标,区分算法和程序并组织分析流程。
算法设计与分析导论:问题建模、正确性与算法选择 - 时间与空间复杂度已有笔记
从操作次数判断增长阶,并分别统计辅助空间、输出空间和输入情况。
算法复杂度分析基础:从代码计数到时间与空间复杂度 - 渐进符号与增长率已有笔记
使用固定常数与门槛证明渐进界,以比值和变量替换比较函数。
渐进符号与函数增长率:Big-O、Ω、Θ 与严格比较 - 贪心与交换论证已有笔记
用区间调度与一维覆盖推导安全选择,完成最优性和资源分析。
贪心算法入门:从局部选择到全局最优证明 - 动态规划与方案恢复已有笔记
定义OPT与前驱,推导转移,填表并恢复实际最优方案。
动态规划入门:从状态定义到最优方案恢复 - 匹配与独立集已有笔记
用图表达分配与冲突,手找增广路并区分最大与极大。
图上的组合优化:二分图匹配与独立集 - 计算复杂性与困难问题已有笔记
区分求解与验证,理解归约方向、复杂性类及困难问题求解保证。
计算复杂性入门:P、NP、NP完全与困难问题求解
数据结构、操作系统、网络与组成原理
计算机基础
0 / 7 已读
前后端开发、STM32 与外设驱动
工程与嵌入式
0 / 7 已读
