算法分析入门：从循环计数到渐进增长与贪心证明
从循环执行次数出发，逐步理解输入规模、最坏情况、O与Theta的定义、函数增长率与双向包含证明，再通过一维基站覆盖的图解与手算学习贪心交换论证。
# 算法 # 时间复杂度 # 渐进分析
自然语言与大模型
10 篇路线笔记文本处理、Transformer、微调与 RAG
阅读进度0 / 10
最近在学
大模型微调与 RAG
131篇学习记录
4条知识路线
4个项目
AI 可视化
调整参数，观察采样、神经网络训练和注意力权重的变化。
项目记录
插画：tokkiAI 交互实验
打开实验 ↗调整参数，观察梯度下降、采样、注意力、检索和神经网络训练的变化。
最新文章
算法设计与分析入门：从问题建模到贪心、动态规划与复杂性
算法设计与分析的课程地图：先从问题、算法、程序和简单区间调度入门，再按阅读路线学习复杂度与贪心证明；动态规划、匹配、复杂性和博弈细节作为可展开的进阶内容。
# 算法 # 贪心算法 # 动态规划
密码学数学基础（一）：集合、映射与二元运算
根据数论与代数课件整理对数、数集、集合族与划分、单射满射双射、复合与逆映射、二元运算，通过图例、手算和巩固练习理解基础符号。
# 密码学 # 数论 # 抽象代数
RAG检索增强生成：从向量检索到Hugging Face知识库问答
承接Hugging Face与SFT，从文档切分、句向量、余弦相似度、Top-K、重排序和上下文预算理解RAG，手算检索与下一个token的生成，并实现可检查的本地知识库问答项目。
# NLP # Hugging Face # Transformers
SFT（四）：QLoRA的4-bit量化与LoRA微调原理
承接LoRA监督微调，从显存组成、分块量化、NF4、Double Quantization和Paged Optimizer出发，解释QLoRA的前向与反向传播，并使用Hugging Face Transformers、TRL、PEFT和bitsandbytes完成可检查的4-bit SFT项目。
# NLP # 自然语言处理 # Hugging Face
SFT（三）：使用TRL SFTTrainer与LoRA微调对话模型
在理解input_ids、labels与Completion-only loss后，使用Hugging Face TRL SFTTrainer、Conversational Dataset、Chat Template和PEFT LoRA完成对话SFT，并讲清assistant-only loss、Packing、显存、Adapter保存加载与推理。
# NLP # 自然语言处理 # Hugging Face
SFT（二）：用Hugging Face Transformers手写监督微调
不依赖TRL，从prompt-completion数据出发，使用Hugging Face Transformers亲手构造input_ids、attention_mask与labels，实现Completion-only loss、动态Padding、Trainer训练、保存和GenerationConfig推理。
# PyTorch # NLP # 自然语言处理
SFT（一）：从Next Token Prediction到指令微调
承接Mini-GPT与Hugging Face学习记录，从next-token prediction出发理解SFT在LLM后训练中的位置，拆解Chat Template、label shift、attention mask、loss mask与assistant-only loss，并手算一次完整SFT损失。
# NLP # 自然语言处理 # Hugging Face
Hugging Face详解：从模型下载到中文文本分类微调
系统介绍Hugging Face Hub、Transformers、Datasets、Tokenizer、Pipeline与Trainer，并通过中文情感分类案例走通预训练模型加载、手动推理、微调、评估、保存和复用全过程。
# PyTorch # NLP # 自然语言处理
RoPE详解：从二维旋转到PyTorch手写旋转位置编码
承接Transformer与Mini-GPT，从二维旋转、相对位置推导和手算例子出发，逐步理解RoPE的多频率设计、PyTorch实现、KV Cache、长度外推与常见错误。
# PyTorch # NLP # 自然语言处理
手写Mini-GPT：从因果语言模型到PyTorch完整实现
承接Transformer，从零手写字符级Mini-GPT，深入理解自回归语言模型、因果注意力、Pre-Norm Block、交叉熵、采样策略、训练技巧与KV Cache。
# PyTorch # NLP # 自然语言处理