Tag: flash-attention
All the articles with the tag "flash-attention".
Flash-Attention Dropout 梯度发散排查记录
torch.compile + checkpoint + 融合 attention kernel 内部 dropout 在 torch 2.9.0 下的 RNG 不一致导致梯度发散问题的完整排查过程与最终修复方案（给 flash 注入显式 dropout seed）。
All the articles with the tag "flash-attention".
torch.compile + checkpoint + 融合 attention kernel 内部 dropout 在 torch 2.9.0 下的 RNG 不一致导致梯度发散问题的完整排查过程与最终修复方案（给 flash 注入显式 dropout seed）。