Posts

All the articles I've posted.

• Flash-Attention Dropout 梯度发散排查记录

  14 Aug, 2026

  torch.compile + checkpoint + 融合 attention kernel 内部 dropout 在 torch 2.9.0 下的 RNG 不一致导致梯度发散问题的完整排查过程与最终修复方案（给 flash 注入显式 dropout seed）。

• Mini-SGLang 完整剖析

  Updated:8 Jun, 2026

  Mini-SGLang 仓库的完整源码导读与架构剖析，从零基础到系统架构，逐子系统拆解实现细节。