Tag: PyTorch

All the articles with the tag "PyTorch".

• Flash-Attention Dropout 梯度发散排查记录

  14 Aug, 2026

  torch.compile + checkpoint + 融合 attention kernel 内部 dropout 在 torch 2.9.0 下的 RNG 不一致导致梯度发散问题的完整排查过程与最终修复方案（给 flash 注入显式 dropout seed）。