SELECTED WRITING
从一个问题,
进入一条技术路径。
已发布的文章会在这里持续汇集。按自己的兴趣任选一篇,也可以先从对应栏目进入专题地图。
工程现场
RAG 系统不该只看回答:建立可诊断的离线评测
将 RAG 评测拆分为检索、生成和端到端体验三个层次,定位系统瓶颈。阅读文章 ↗算法地基
从 SGD 到 Adam:优化器究竟替我们做了什么?
用动量与自适应步长的视角理解 Adam,并说明它在大模型训练中的真实边界。阅读文章 ↗算法地基
为什么 Attention 要除以 √d?
从方差、Softmax 饱和和梯度三个角度理解缩放点积注意力。阅读文章 ↗算法地基
交叉熵与 KL 散度:大模型训练里最常见的两个量
从预测分布与目标分布的差异出发,理解交叉熵和 KL 散度在预训练、蒸馏与对齐中的角色。阅读文章 ↗前沿雷达
读模型技术报告时,我重点看哪八个位置
建立一份可复用的模型技术报告阅读框架,避免只被排行榜和宣传指标带着走。阅读文章 ↗模型进阶