論文の概要: Broken Symmetry in BF16 Attention: Why FlashAttention Gradients Blow Up Late in Training
- arxiv url: http://arxiv.org/abs/2609.34272v1
- Date: Mon, 28 Sep 2026 04:21:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 22:17:42.739379
- Title: Broken Symmetry in BF16 Attention: Why FlashAttention Gradients Blow Up Late in Training
- Title（参考訳）: BF16の注意:FlashAttention Gradientsがトレーニングに遅れた理由
- Abstract要約: 我々は、50Bトークン上で450M-パラメータ変換器をトレーニングするためにFlashAttention-3を使用します。
トレーニングは25Bトークンで順調に行われ、勾配ノルムは1000倍に増加し、損失は1NaNなしでFP32の注意点より0.2Nat以上増加した。
GProjはキャスト後のゼロ和を行ごとに2つのランク1の補正で復元する。
残りの中央値クエリ/キー勾配エラーを219%/13%から0.34%/0.37%に削減し、FP32の注意に匹敵する。
- 参考スコア（独自算出の注目度）: 35.35721116246088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: BF16 is now standard in large-scale pretraining, including in fused attention kernels such as FlashAttention, and these kernels are widely trusted. When we used FlashAttention-3 to pretrain a 450M-parameter transformer on 50B tokens, however, we ran into a problem: training was healthy for 25B tokens, then the gradient norm grew a thousandfold and the loss ended 0.2 nats above FP32 attention, without a single NaN. Recomputing the attention backward of just two layers in FP32 removes almost all of the excess gradient. Part of the cause is known: a fused multiply-add in the forward softmax, so far treated as an extreme-input NaN case and never fixed in FlashAttention-3. Repairing it stops the blow-up, but the query gradient is still wrong by more than its own size, and training still drives attention logits to thousands of times their size under accurate gradients. The remaining error comes from a broken conservation law. The softmax score gradient sums to zero along every row, which makes the query gradient blind to where the keys sit as a group; rounding it to BF16 leaves a small nonzero sum that leaks the mean key into the gradient, and the leak grows exactly as late training makes keys large and attention sharp. We introduce GProj (gauge projection), which restores the zero sum after the cast with two rank-one corrections per row. It cuts the remaining median query/key gradient errors from 219%/13% to 0.34%/0.37%, on par with FP32 attention, for 4.7% more time per training step. In matched from-scratch runs it trains to the same loss as FP32 attention, while FlashAttention-3 and key smoothing both destabilize.
- Abstract（参考訳）: 現在、BF16はFlashAttentionなどの注目カーネルを含む大規模な事前トレーニングにおいて標準であり、これらのカーネルは広く信頼されている。
しかし,50Bトークン上で450Mパラメータ変換器を事前トレーニングするためにFlashAttention-3を使用すると,25Bトークンに対してトレーニングが正常であり,勾配ノルムは1000倍に増加し,損失はFP32の注意点より0.2ナット高くなり,NaNは1個もなかった。
FP32の2つの層だけを後ろ向きに再計算すると、余剰勾配のほとんどを除去する。
FlashAttention-3で固定されていない極端に入力されたNaNケースとして扱われている。
修復は停止するが、クエリの勾配はそれ自身のサイズ以上の誤差があるため、トレーニングは正確な勾配の下で数千倍の大きさに注意を向ける。
残るエラーは、保存法が破れたことによる。
ソフトマックススコア勾配は各行に沿ってゼロにスコアし、クエリ勾配をグループとして配置する場所に盲目にする。BF16に丸めると、平均キーを勾配に漏れさせる小さなゼロでない和が残る。
GProj(ゲージプロジェクション)を導入し、キャスト後のゼロ和を行ごとに2つのランク1の補正で復元する。
残りの中央値クエリ/キー勾配エラーを219%/13%から0.34%/0.37%に削減し、FP32の注意に匹敵する。
マッチしたoff-scratch実行では、FP32のアテンションと同じ損失にトレーニングされ、FlashAttention-3とキーはどちらも不安定になる。
関連論文リスト
- Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。
NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。
ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
論文 参考訳（メタデータ） (2026-09-03T17:04:26Z) - UE5M3 FP4 Block Scaling for Stable Language Model Pretraining [6.963061311516306]
NVIDIAのTransformer Engine nvレシピを使用して、約190億トークンのモデルを事前トレーニングします。
Transformer Engine nvと比較して、提案したブロック16レシピは、最終ウィンドウのトレーニング損失が低く、各量子化推論ポリシーの下で、保持された負のログライクな状態として測定された検証損失が低い。
RHTとBF16の最終ブロック免除を共同で除去するネイティブなnv実行アブレーションは、測定されたモデルボディトークンのスループットを21.2%向上させる。
論文 参考訳（メタデータ） (2026-09-02T17:32:07Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Crossing the Margin Cliff: Toward Relearn-Robust LLM Unlearning via Margin Calibration [7.554707019990843]
微調整の忘れの例は、評価対象のメソッドごとにホールドアウトされた忘れのセットROUGEを著しく回復する。
単一の凍結構成は、14個の頭から頭までの忘れ細胞すべてに勝利する。
配置のバリエーションは、保持訓練された参照なしでこれらのゲインと一致します。
論文 参考訳（メタデータ） (2026-07-30T08:15:58Z) - Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。
補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。
これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
論文 参考訳（メタデータ） (2026-04-19T03:20:40Z) - When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence [0.0]
後学習量子化は、よく収束したモデルが量子化対応モデルであると仮定する。
この仮定は構造化され、測定可能で、以前は達成できなかった方法で失敗することを示す。
論文 参考訳（メタデータ） (2026-04-16T15:46:36Z) - MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。
我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。
1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
論文 参考訳（メタデータ） (2025-11-17T06:17:08Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。
私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
論文 参考訳（メタデータ） (2025-05-19T17:30:13Z) - Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。
本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
論文 参考訳（メタデータ） (2020-02-20T12:50:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。