LATENT
现居杭州 · 正在找一个更优的局部最小

在潜空间里写字

我是 Surely，大模型算法工程师。日常与 loss 曲线、对齐目标和显存不足搏斗；这里存放那些跑通之后、来不及写进论文的东西。

0 Posts
0 Topics
读点东西
01 — SELECTED

近期在想的
几件事

全部 4 篇
01 / LLM

为什么你的 loss 掉得漂亮，模型却越来越笨

验证集里有 4.7% 的样本以另一种表述出现在训练集中。这篇写数据去重、评测污染的检测方法，以及为什么漂亮的指标往往是最危险的信号。

4 MIN
02 / LLM

重读 Attention：从 O(n²) 到线性的六种妥协

把 Linformer、Performer、Mamba、滑动窗口放在同一张坐标系里比较，看它们各自放弃了什么样的长程依赖能力。

3 MIN
03 / RLHF

奖励模型是一面哈哈镜

RLHF 里最被低估的失效模式不是 reward hacking，而是标注者偏好的不一致性如何被模型放大成一种稳定的人格缺陷。

2 MIN
02 — WRITING

最近写的

004

为什么你的 loss 掉得漂亮，模型却越来越笨

4 MIN

验证集里有 4.7% 的样本以另一种表述出现在训练集中。这篇写数据去重、评测污染的检测方法，以及为什么漂亮的指标往往是最危险的信号。

LLM训练随想
003

重读 Attention：从 O(n²) 到线性的六种妥协

3 MIN

把 Linformer、Performer、Mamba、滑动窗口放在同一张坐标系里比较，看它们各自放弃了什么样的长程依赖能力。

LLMInfra
002

奖励模型是一面哈哈镜

2 MIN

RLHF 里最被低估的失效模式不是 reward hacking，而是标注者偏好的不一致性如何被模型放大成一种稳定的人格缺陷。

RLHF随想
001

把首 token 延迟砍掉 60% 的那一周

2 MIN

从 PagedAttention 的显存碎片，到投机解码里草稿模型的接受率调参。包含两个把 P99 搞得更糟的失败尝试。

Infra推理
03 — ELSEWHERE

在别处

邮件是最可靠的联系方式。
其余平台我更新得很随机。