論文の概要: A Physical Response-and-Memory Model for Muon Optimization

• arxiv url: http://arxiv.org/abs/2608.22994v1
• Date: Mon, 24 Aug 2026 08:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.00303
• Title: A Physical Response-and-Memory Model for Muon Optimization
• Title（参考訳）: ミューオン最適化のための物理応答・記憶モデル
• Abstract要約: 大規模言語モデルのトレーニングにはコストがかかる。損失がどの程度低いかは、最終的に各ステップの勾配を重み更新に変換する方法に依存する。 SGD と AdamW から最近の Muon に至るまで、効果的な更新ルールは主にエンジニアリングによって形成され、その後ベンチマークで選択されている。 Muonはアップデートを適用する前に運動量行列を半直交し、公開トレーニングベンチマークで記録を更新した。
• 参考スコア（独自算出の注目度）: 0.7116403133334646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models is costly. How low a loss the same compute can ultimately reach depends on how each step's gradient is converted into a weight update; the rule that performs this conversion is the optimizer. From SGD and AdamW to the recent Muon, effective update rules have mostly been shaped by engineering intuition and then selected on benchmarks. Muon semi-orthogonalizes the momentum matrix before applying the update and has kept breaking records on public training benchmarks; yet why the semi-orthogonalized direction works, and over how long a history the momentum should average, are two questions at present answered mainly by experience. Here we treat the weight matrix during training as a responsive medium with memory and build a physical model for it, in which both questions find answers: the semi-orthogonalized direction is the maximally dissipative response under an output-side safety budget, which explains why it works; momentum is the internal stress accumulated by the medium; how long it should average is set by the relaxation of this stress, and a real medium relaxes on more than one timescale, the simplest form being one fast and one slow. On this basis we propose the Bi-Maxwell optimizer. The framework further yields a testable consequence: gradient directions change fast early in training and more slowly later, so the optimal memory length should grow with training stage; step-by-step measurements of a proxy for it by a read-only probe across 8 independent training trajectories are consistent with this consequence. Replacing the memory kernel alone, from a single timescale to two, brings training to the target loss in noticeably fewer steps on a public large-language-model optimizer benchmark.
• Abstract（参考訳）: 大規模な言語モデルのトレーニングにはコストがかかる。 同じ計算の損失がどれだけ低いかは、各ステップの勾配が重み付け更新にどのように変換されるかに依存する。 SGD と AdamW から最近の Muon に至るまで、効果的な更新ルールは、ほとんどエンジニアリング直観によって形成され、その後ベンチマークで選択されている。 Muon semi-orthogonalizes the motor matrix before applying the update and has keep break record on public training benchmark; but why the semi-orthogonalized direction works, and over the history should average, are two questions at currently standing by most experience。 ここでは、トレーニング中の重量行列をメモリを持つ応答性媒質として扱い、両方の質問に答えを求める物理モデルを構築する。半直交方向は出力側の安全予算の下で最大散逸応答であり、なぜそれが機能するかを説明する。 そこで本研究では,Bi-Maxwellオプティマイザを提案する。 このフレームワークはさらに、テスト可能な結果をもたらす: 勾配方向は、トレーニングの早い段階でより遅く変化するため、最適なメモリ長は、トレーニング段階で成長するべきである。 メモリカーネルを1つのタイムスケールから2つに置き換えることで、パブリックな大規模言語モデルのオプティマイザベンチマークにおいて、はるかに少ないステップで、ターゲット損失に対するトレーニングが可能になる。

関連論文リスト

• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• TNT: Improving Chunkwise Training for Test-Time Memorization [62.78875147721906]
  タイタンスやTTTのような深いテストタイム記憶モジュールを持つリカレントニューラルネットワーク(RNN)は、トランスフォーマーとは異なる有望で線形にスケールするパラダイムである。 TNTは,2段階のプロセスを通じて,推論性能からトレーニング効率を分離する,新たなトレーニングパラダイムである。 TNTはトレーニング速度を最も正確なベースライン構成の17倍に高速化する。
  論文  参考訳（メタデータ） (2025-11-10T17:45:09Z)
• Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization [10.325245543844245]
  定常運動量係数を動的運動量係数に置き換えるテクスチマタテプティブメモリ機構を導入する。 我々はSGDとAdamWの両方の適応型メモリを幅広い学習タスクで実装する。 私たちの仕事は、最適化において適応性を誘導する新しい方法の扉を開く。
  論文  参考訳（メタデータ） (2025-10-06T16:24:57Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Flatter, faster: scaling momentum for optimal speedup of SGD [0.0]
  ニューラルネットワークのトレーニングにおいて、勾配降下(SGD)とラベルノイズと運動量との相互作用から生じるトレーニングダイナミクスについて検討した。 運動量ハイパーパラメータ1-NISTbeta$を学習率で2/3$にスケーリングすると、一般化を犠牲にすることなく、最大で2/3$のトレーニングが加速することがわかった。
  論文  参考訳（メタデータ） (2022-10-28T20:41:48Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。