SFT（二）：用Hugging Face Transformers手写监督微调
不依赖TRL，从prompt-completion数据出发，使用Hugging Face Transformers亲手构造input_ids、attention_mask与labels，实现Completion-only loss、动态Padding、Trainer训练、保存和GenerationConfig推理。
# PyTorch # NLP # 自然语言处理
学习笔记
按发布时间浏览文章。
最新文章
SFT（一）：从Next Token Prediction到指令微调
承接Mini-GPT与Hugging Face学习记录，从next-token prediction出发理解SFT在LLM后训练中的位置，拆解Chat Template、label shift、attention mask、loss mask与assistant-only loss，并手算一次完整SFT损失。
# NLP # 自然语言处理 # Hugging Face
Hugging Face详解：从模型下载到中文文本分类微调
系统介绍Hugging Face Hub、Transformers、Datasets、Tokenizer、Pipeline与Trainer，并通过中文情感分类案例走通预训练模型加载、手动推理、微调、评估、保存和复用全过程。
# PyTorch # NLP # 自然语言处理
RoPE详解：从二维旋转到PyTorch手写旋转位置编码
承接Transformer与Mini-GPT，从二维旋转、相对位置推导和手算例子出发，逐步理解RoPE的多频率设计、PyTorch实现、KV Cache、长度外推与常见错误。
# PyTorch # NLP # 自然语言处理
手写Mini-GPT：从因果语言模型到PyTorch完整实现
承接Transformer，从零手写字符级Mini-GPT，深入理解自回归语言模型、因果注意力、Pre-Norm Block、交叉熵、采样策略、训练技巧与KV Cache。
# PyTorch # NLP # 自然语言处理
Transformer详解：从自注意力手算到PyTorch完整实现
从RNN Seq2Seq的局限出发，逐步理解Q、K、V、缩放点积注意力、多头注意力、位置编码、Mask、Encoder与Decoder，并用PyTorch实现完整Transformer。
# PyTorch # NLP # 自然语言处理
AdamW Optimizer：为什么要把权重衰减与梯度更新解耦
从 L2 正则化与权重衰减的区别出发，理解 AdamW 的解耦思想、更新公式、手算过程、参数分组和 PyTorch 完整训练方法。
# 机器学习 # 深度学习 # PyTorch
Seq2Seq：从Encoder-Decoder到Attention与PyTorch实现
从序列到序列任务出发，理解Encoder-Decoder、隐藏状态、Teacher Forcing、训练与推理差异、Attention，并用PyTorch GRU实现一个完整Seq2Seq模型。
# PyTorch # NLP # 自然语言处理
Adam Optimizer：从梯度下降到自适应学习率
从 SGD 的局限出发，理解 Adam 的动量、二阶矩、偏差修正和参数更新公式，并通过手算例子与 PyTorch 完整代码掌握 Adam 和 AdamW 的使用方法。
# 机器学习 # 深度学习 # PyTorch
Word2Vec：从词向量训练到神经网络分类器
从 word2vec 出发，理解词向量是怎么训练出来的、怎么改进和评价词向量，并进一步过渡到基于词向量的神经网络分类器。
# 神经网络 # NLP # 自然语言处理
MLP多层感知机：从原理到PyTorch实现
从多层感知机的结构、前向传播、反向传播、PyTorch实现和常用神经网络函数几个角度理解MLP与PyTorch训练流程。
# 机器学习 # 深度学习 # 神经网络