論文の概要: DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule

• arxiv url: http://arxiv.org/abs/2608.19491v1
• Date: Wed, 19 Aug 2026 23:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.41391
• Title: DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule
• Title（参考訳）: DeltaMomentum:Delta Ruleによるキーバリューベースの異方性モーメント更新
• Abstract要約: 本稿では,モーメント更新規則に方向認識を組み込むDeltaMomentumを提案する。 DeltaMomentumは、キー値構造を爆発させ、標準デルタ則によって運動量バッファを更新する。 補正行列を使わずに入力側曲率を適用することは有効な運動量であり、固定とドリフトの両方の最適条件下でEMAよりも高速に安定化方向をクリアできることを証明した。
• 参考スコア（独自算出の注目度）: 6.495737609776765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most modern optimizers form their momentum as an exponential moving average (EMA) of past gradients, forgetting every direction at one fixed rate. However, the inputs a deep network sees during training can be highly anisotropic, with a few directions queried frequently while most are seen rarely. Recent methods address this anisotropy by wrapping extra processing around this buffer, leaving the momentum update itself unchanged. We propose DeltaMomentum, which builds direction-awareness into the momentum update rule. The main observation is that the gradient of a linear layer splits into an input that acts as a key and an output-side error that acts as a value. Exploiting the key-value structure, DeltaMomentum updates the momentum buffer by the canonical delta rule, so each direction is forgotten at a rate set by how often it appears. We prove that it is a valid momentum, that it applies the input-side curvature correction without matrix inversion, and that it clears stale directions faster than EMA under both a fixed and a drifting optimum. It is a drop-in replacement for the momentum buffer of any optimizer, its coefficient transfers across widths under $μ$P, and its extra compute stays between $22.2\%$ and $25.0\%$ of a gated-MLP block's linear cost with no persistent memory. In FineWeb-Edu pretraining, AdamW with DeltaMomentum (DeltaAdamW) reaches AdamW's validation loss in up to $46.39 \pm 4.32\%$ fewer steps at 67M and $22.12 \pm 0.80\%$ at 370M over three seeds, and the gain persists at 1B on a Chinchilla-optimal budget. A Muon baseline tuned under the same protocol sits above DeltaAdamW at both language-model scales, and the gain holds for SGD, ResNet-18, and ViT-Tiny on CIFAR-10. Training-time diagnostics confirm the predicted mechanism, better gradient tracking and healthier input directions.
• Abstract（参考訳）: ほとんどの現代のオプティマイザは、過去の勾配の指数移動平均(EMA)として運動量を形成し、すべての方向を1つの固定速度で忘れている。 しかし、トレーニング中にディープネットワークが見る入力は、非常に異方性があり、いくつかの方向が頻繁にクエリされ、多くはめったに見られない。 最近の手法では、このバッファに余分な処理をラップすることで、この異方性に対処している。 本稿では,モーメント更新規則に方向認識を組み込むDeltaMomentumを提案する。 主な観察は、線形層の勾配がキーとして働く入力と値として働く出力側エラーに分裂することである。 デルタモメンタムは鍵値構造を爆発させ、運動量バッファを正準デルタ則で更新するので、それぞれの方向は出現頻度によって設定された速度で無視される。 正の運動量であり,行列逆転を伴わない入力側曲率補正を適用し,固定とドリフトの両方の最適条件下でEMAよりも高速に安定化方向をクリアできることを証明した。 これは任意のオプティマイザの運動量バッファの代替であり、その係数はμ$P以下で幅を移動し、余剰計算は22.2\%$から25.0\%$の間にある。 FineWeb-Edu プレトレーニングでは、DeltaMomentum (DeltaAdamW) のAdamW は、67M で最大4,6.39 \pm 4.32\% で、67M で2,2.12 \pm 0.80\% で3つの種に対して2,2.12 \pm 0.80\% で、AdamW の検証損失を最大4,6.39 \pm 4.32\% で達成している。 同じプロトコルでチューニングされたMuonベースラインは、両方の言語モデルスケールでDeltaAdamWの上にあり、CIFAR-10上のSGD、ResNet-18、ViT-Tinyの利得を保っている。 トレーニング時間診断は、予測されたメカニズム、より良い勾配追跡、より健康的な入力方向を確認する。

関連論文リスト

• Momentum as Residual-Driven Multiplier Correction for Deep Learning Optimization [16.249904972534114]
  我々は残高変動分割に基づく$textbfA$DMM-$textbfI$nspired $textbfM$omentum (AIM) フレームワークを開発する。 AIMはADMMスタイルの乗算器更新から乗算器更新の指数的な移動平均を回復する。 我々は、更新方向と運動量推定を改善するために、$textbfA$ccelerated $textbfR$esidual (RADAR)を提案する。
  論文  参考訳（メタデータ） (2026-08-13T08:04:38Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing [5.945255135393071]
  自己注意により、各トークンは完全なコンテキストから情報を取得することができるが、シーケンス長のトレーニングと長いコンテキストでの推論のコストは二次的である。 我々は、これらのメカニズムを共通のリカレントメモリ表記法で表現する。 DeltaNetスタイルのメモリに軽量な層間転送機構を導入,評価する。
  論文  参考訳（メタデータ） (2026-07-08T22:14:14Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Bug or Feature$^2$: Weight Drift, Activation Sparsity and Spikes [53.726365933748134]
  標準損失と正に偏りのある活性化関数の相互作用によって引き起こされる負の重みのドリフトを解析する。 79の構成にまたがるスパシティ・精度のトレードオフを特徴付けるとともに、$sim$70%のアクティベーション・スパシティよりも高い精度の崖を識別する。
  論文  参考訳（メタデータ） (2026-05-17T21:29:20Z)
• Finite Volume-Informed Neural Network Framework for 2D Shallow Water Equations: Rugged Loss Landscapes and the Importance of Data Guidance [3.04375043248235]
  データガイドFVM-PINN'は,非構造化メッシュ上で評価された強形式残差を,微分可能でバランスの取れた有限体積損失(FVM)に置き換えるフレームワークである。 このフレームワークは、SRH-2Dアンカーデータから正確なサロゲートを構築する。
  論文  参考訳（メタデータ） (2026-05-09T22:03:56Z)
• Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo [4.52010848322472]
  Cosine Gated Adam Decay (CGAD) は、Adamの第1および第2モーメントバッファに入る前に、入ってくる擬似階調を$() = () e-$でスケールする単純な年齢対応外装である。 CGADの列車は、私たちが掃除する制御された遅れを安定して通過します。
  論文  参考訳（メタデータ） (2026-05-09T19:16:29Z)
• AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
  AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
  論文  参考訳（メタデータ） (2025-11-18T18:08:20Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [134.83964935755964]
  ディープラーニングでは、異なる種類のディープネットワークは典型的に異なる補間を必要とし、複数のトライアル後に選択する必要がある。 本稿では,この問題を解消し,モデルトレーニング速度を継続的に改善するために,ADAtive Nesterov運動量変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。