論文の概要: Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors

• arxiv url: http://arxiv.org/abs/2606.25971v1
• Date: Wed, 24 Jun 2026 15:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.387613
• Title: Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors
• Title（参考訳）: 重みベクトルの重みと方向の分離によるニューラルネットワークトレーニングの改善
• Authors: Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi,
• Abstract要約: EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
• 参考スコア（独自算出の注目度）: 110.10775872372047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural network training relies on optimizers such as Adam and Muon which act on each weight matrix as a single object. Yet every weight matrix carries two distinct quantities -- a \emph{magnitude} and a \emph{direction} -- and all optimizers stepping in the matrix as a whole couple their dynamics: the directional change from an update depends on the current magnitude, while the magnitude drifts as a byproduct of learning the direction, so neither is governed directly by the learning rate. Typical training therefore leans on surrounding recipes such as weight decay and warmup to keep learning stable at scale, though these regulate the coupling only indirectly; other recent methods instead constrain the weight to a fixed-norm sphere, but add no learnable magnitude, leaving scale control to normalization layers alone. We propose \emph{Magnitude--Direction (MD) Decoupling}, an optimizer modification that factorizes each weight into a fixed-norm direction on a hypersphere and learnable per-row and per-column magnitude gains, updated at separate learning rates, all while the model still sees a single fused weight tensor. The method is agnostic to the base optimizer and removes the need for weight decay and warmup. Across both Adam and Muon, MD Decoupling improves on well-tuned baselines, transfers the optimal LR across model width without retuning, and continues to help at scale on large Mixture-of-Experts (MoE) models. Treating magnitude and direction as separately controlled quantities thus yields more predictable training dynamics and a simple, broadly applicable improvement to modern optimizers.
• Abstract（参考訳）: 現代のニューラルネットワークのトレーニングは、AdamやMuonのような、各重み行列に単一のオブジェクトとして作用するオプティマイザに依存している。 しかし、全ての重み行列は2つの異なる量(a \emph{magnitude} と a \emph{direction} )を持ち、全ての最適化器は2つのダイナミクスで行列を踏む:更新からの方向の変化は現在の大きさに依存し、大きさは方向を学ぶ副産物としてドリフトする。 そのため、一般的なトレーニングは、体重減少やウォームアップのような周囲のレシピに頼って学習を安定させるが、これらは間接的にのみ結合を規制する。 超球面上の固定ノルム方向に各重みを分解し、学習可能な1ローおよびカラムあたりの等級ゲインを別個の学習速度で更新する最適化手法である「emph{Magnitude-Direction (MD) Decoupling」を提案する。 この方法は、ベースオプティマイザに非依存であり、重量減衰やウォームアップの必要性を除去する。 Adam と Muon の双方で、MD Decoupling はよく調整されたベースラインを改善し、モデル幅を調整せずに最適なLRを転送し、大規模なMixture-of-Experts (MoE) モデルでも引き続き有効である。 大きさと方向を別々に制御された量として扱うことで、より予測可能なトレーニングのダイナミクスが得られ、現代的なオプティマイザに対してシンプルで広く適用可能な改善がもたらされる。

関連論文リスト

• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• SAW: Stage-Aware Dynamic Weighting for Multi-Objective Reinforcement Learning in Large Language Models [66.92079232778707]
  本稿では,アルゴリズムに依存しない軽量な動的重み付け機構として,SAW(Stage-Aware Dynamic Weighting)を提案する。 SAWは、各次元の報酬または利益の貢献を、バッチ内の相対的な情報性によって重み付けする。 ツールコールとテキスト要約タスクの実験により、SAWはトレーニング効率と最終的なパフォーマンスの両方を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-06-05T10:00:19Z)
• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning [4.751362812627724]
  本稿では、各ニューロンの重みベクトルを2つの異なる部分に分解することで、ニューラルネットワークで学習するための新しいフレームワークを提案する。 この分解によって一般化が促進され、特にトレーニングデータが疎かでノイズの多い場合、過度に適合することを示す。
  論文  参考訳（メタデータ） (2025-03-15T02:32:47Z)
• Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks [33.88586668321127]
  本研究は,ディープニューラルネットワークにおける個々のニューロンの更新挙動に重み劣化が及ぼす影響について検討する。 本研究では, 回転を明示的に制御することで, 重量減衰の利点が得られ, 学習率のウォームアップを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2023-05-26T19:14:01Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。