SELECTED WRITING

从一个问题,
进入一条技术路径。

已发布的文章会在这里持续汇集。按自己的兴趣任选一篇,也可以先从对应栏目进入专题地图。

工程现场

RAG 系统不该只看回答:建立可诊断的离线评测

将 RAG 评测拆分为检索、生成和端到端体验三个层次,定位系统瓶颈。阅读文章 ↗

算法地基

从 SGD 到 Adam:优化器究竟替我们做了什么?

用动量与自适应步长的视角理解 Adam,并说明它在大模型训练中的真实边界。阅读文章 ↗

算法地基

为什么 Attention 要除以 √d?

从方差、Softmax 饱和和梯度三个角度理解缩放点积注意力。阅读文章 ↗

算法地基

交叉熵与 KL 散度:大模型训练里最常见的两个量

从预测分布与目标分布的差异出发,理解交叉熵和 KL 散度在预训练、蒸馏与对齐中的角色。阅读文章 ↗

前沿雷达

读模型技术报告时,我重点看哪八个位置

建立一份可复用的模型技术报告阅读框架,避免只被排行榜和宣传指标带着走。阅读文章 ↗

模型进阶

LoRA 微调:先回答这五个问题,再开始训练

从目标、数据、目标模块、超参数和评测五个维度建立 LoRA 微调决策框架。阅读文章 ↗