論文の概要: Delta-Matching: Closing the Final Gap of Native 8-bit Training for LLMs

• arxiv url: http://arxiv.org/abs/2609.37852v1
• Date: Tue, 29 Sep 2026 15:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.700881
• Title: Delta-Matching: Closing the Final Gap of Native 8-bit Training for LLMs
• Title（参考訳）: Delta-Matching: LLMのためのネイティブ8ビットトレーニングの最終ギャップを閉鎖する
• Abstract要約: 前方後方の不整合が古いデルタをいかに生み出すかを示し、それがいかにトレーニング力学を歪めているかを実証的に示す。 スタイルデルタハイブリッドランは569万のパラメータで最小損失差を示したが,1.67Bと5.29Bではかなりの損失増加と下流劣化を示した。 本稿では,ソフトマックス勾配のゼロローサム不変量(0-row-sum invariant)を数値的な仮定で復元できることを証明したデルタマッチングを提案する。
• 参考スコア（独自算出の注目度）: 41.876458492157255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable FP8 attention remains a barrier to fully native 8-bit large language model training. We derive how forward-backward inconsistencies produce stale delta and empirically show how it distorts training dynamics. Our stale-delta hybrid runs show a modest loss gap at 569M parameters but substantial loss increases and downstream degradation at 1.67B and 5.29B. QK normalization, NoPE (no positional encoding), and lower-learning-rate context extension mitigate or delay degradation without eliminating it. This pattern suggests accumulated optimization error that smaller models and short runs can conceal. We propose Delta-Matching, proving that it restores the softmax gradient's zero-row-sum invariant under the stated numerical assumptions. It enables native block-scaled FP8 in every forward and backward attention-core matmul without architectural changes, smaller global batches, or auxiliary forward outputs. Across tested architectures, scales, and training stages, Delta-Matching matches BF16/FP32 mixed-precision training loss and overall downstream performance. We will release our implementation, trained models, and data recipes.
• Abstract（参考訳）: 信頼性の高いFP8の注目は、完全にネイティブな8ビットの大規模言語モデルのトレーニングの障壁であり続けている。 我々は、前方後方の不整合が古いデルタをいかに生み出すか、そしてそれがいかにトレーニング力学を歪曲するかを実証的に示しているかを導出する。 スタイルデルタハイブリッドランは569万のパラメータで最小損失差を示したが,1.67Bと5.29Bではかなりの損失増加と下流劣化を示した。 QK正規化、NoPE(位置エンコーディングなし)、低学習率コンテキスト拡張は、それを取り除くことなく、劣化や遅延を緩和する。 このパターンは、小さなモデルとショートランが隠せるような最適化エラーの蓄積を示唆している。 本稿では,ソフトマックス勾配のゼロローサム不変量(0-row-sum invariant)を数値的な仮定で復元できることを証明したデルタマッチングを提案する。 これは、アーキテクチャの変更、より小さなグローバルバッチ、補助的なフォワードアウトプットなしで、すべての前方および後方の注目コアのネイティブブロックスケールFP8を可能にする。 テストされたアーキテクチャ、スケール、トレーニングステージ全体で、Delta-MatchingはBF16/FP32の混合精度トレーニング損失と全体的なダウンストリームパフォーマンスにマッチする。 実装、トレーニングされたモデル、データレシピをリリースします。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing [5.945255135393071]
  自己注意により、各トークンは完全なコンテキストから情報を取得することができるが、シーケンス長のトレーニングと長いコンテキストでの推論のコストは二次的である。 我々は、これらのメカニズムを共通のリカレントメモリ表記法で表現する。 DeltaNetスタイルのメモリに軽量な層間転送機構を導入,評価する。
  論文  参考訳（メタデータ） (2026-07-08T22:14:14Z)
• Defeating the Training-Inference Mismatch via FP16 [72.25890308541334]
  強化学習(Reinforcement Learning, RL)の微調整は、トレーニングと推論ポリシーのミスマッチが原因で不安定な場合が多い。 その根本原因は浮動小数点精度そのものにあることを示す。 広く採用されているBF16は、大きなダイナミックレンジにもかかわらず、トレーニングと推論の一貫性を損なう大きな丸め誤差を導入している。
  論文  参考訳（メタデータ） (2025-10-30T17:58:11Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)
• Stable and low-precision training for large-scale vision-language models [108.62077651227607]
  本稿では,大規模言語ビジョンモデルの学習の高速化と安定化のための新しい手法を提案する。 Int8量子化トレーニングのための線形層であるSwitchBackを導入し,13～25%の高速化を実現した。 安定のために、損失スパイクを解析し、二乗勾配が過小評価された後に連続して1～8回発生することを発見した。
  論文  参考訳（メタデータ） (2023-04-25T17:38:18Z)
• Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
  本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。 本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
  論文  参考訳（メタデータ） (2020-02-20T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。