AdamW Optimizer：为什么要把权重衰减与梯度更新解耦
从 L2 正则化与权重衰减的区别出发，理解 AdamW 的解耦思想、更新公式、手算过程、参数分组和 PyTorch 完整训练方法。
# 机器学习 # 深度学习 # PyTorch
学习笔记
按发布时间浏览文章。
最新文章
Seq2Seq：从Encoder-Decoder到Attention与PyTorch实现
从序列到序列任务出发，理解Encoder-Decoder、隐藏状态、Teacher Forcing、训练与推理差异、Attention，并用PyTorch GRU实现一个完整Seq2Seq模型。
# PyTorch # NLP # 自然语言处理
Adam Optimizer：从梯度下降到自适应学习率
从 SGD 的局限出发，理解 Adam 的动量、二阶矩、偏差修正和参数更新公式，并通过手算例子与 PyTorch 完整代码掌握 Adam 和 AdamW 的使用方法。
# 机器学习 # 深度学习 # PyTorch
Word2Vec：从词向量训练到神经网络分类器
从 word2vec 出发，理解词向量是怎么训练出来的、怎么改进和评价词向量，并进一步过渡到基于词向量的神经网络分类器。
# 神经网络 # NLP # 自然语言处理
MLP多层感知机：从原理到PyTorch实现
从多层感知机的结构、前向传播、反向传播、PyTorch实现和常用神经网络函数几个角度理解MLP与PyTorch训练流程。
# 机器学习 # 深度学习 # 神经网络
图神经网络GNN：让模型学会理解关系数据
从图数据、消息传递、GCN、GraphSAGE、GAT、节点分类、图分类和PyTorch Geometric代码几个角度理解图神经网络。
# 机器学习 # 深度学习 # 图神经网络
PPO算法：从策略梯度到裁剪目标函数
从策略梯度、重要性采样比率、优势函数、裁剪目标函数、Actor-Critic结构和PyTorch伪代码几个角度理解PPO算法。
# 机器学习 # 强化学习 # 策略梯度
文本处理：让自然语言变成模型能理解的数字
从文本清洗、分词、词表、One-hot、词袋、TF-IDF、词向量、子词切分、padding 和 attention mask 几个角度理解 NLP 中文本如何变成模型输入。
# NLP # 自然语言处理 # Transformer