論文の概要: RODE: A Radial-Orthogonal Decoupled Engine for Optimization
- arxiv url: http://arxiv.org/abs/2608.21024v1
- Date: Fri, 21 Aug 2026 12:18:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.523719
- Title: RODE: A Radial-Orthogonal Decoupled Engine for Optimization
- Title（参考訳）: RODE: 最適化のためのラジアル直交分離エンジン
- Abstract要約: RODEを導入し、ラジアルおよび方向性のコンポーネントに対して、更新ルールとステップサイズを分離します。
RODE は行列フロベニウスノルムをラジアル規則で明示的に更新し、その方向チャネルは接空間においてニュートン-シュルツ条件付き更新を実行する。
2つの言語モデルと2つのイメージ分類タスクの中で、RODEは、すべての直接比較において2つのミューオン変種を上回り、最終的にはより低いフルモデルノルムで終わる。
- 参考スコア（独自算出の注目度）: 9.10509781181466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural network training increasingly uses matrix-aware optimizers, yet their conditioned matrix step is typically added directly to the weight, jointly changing its norm and direction. This interaction matters because the current norm determines angular motion, while directional learning can drive norm growth and thereby alter later steps. We introduce RODE, which gives the radial and directional components separate update rules and step sizes. RODE explicitly updates the matrix Frobenius norm through a scalar radial rule, while its directional channel performs Newton--Schulz-conditioned updates in the tangent space. Controlled GPT-2 interventions show gains from both direct norm control and RODE's directional update. Across two language-modeling and two image-classification tasks, RODE outperforms both Muon variants in every direct comparison and ends with lower full-model norms. At 1.5B scale, using the learning rate transferred directly from the Qwen2-style LM sweep, RODE lowers loss from 4.145 to 3.346 and final global norm from 11964 to 2183 relative to Muon RMS, with fixed-radius RODE improving further. For Qwen3.5-9B full-parameter fine-tuning, all six optimizers use the same tuning budget and the same formal-training and evaluation settings; RODE outperforms both Muon variants on all four evaluation tasks and attains the highest mean on GSM8K and MATH-500. Thus, decoupling radial and directional dynamics offers a more effective and controllable approach to matrix optimization.
- Abstract（参考訳）: 現代のニューラルネットワークトレーニングでは、行列対応オプティマイザがますます使用されているが、条件付き行列のステップは、通常、ウェイトに直接追加され、そのノルムと方向を共同で変更する。
この相互作用は、現在のノルムが角運動を決定するのに対して、方向学習はノルム成長を駆動し、その後のステップを変更できるため重要である。
RODEを導入し、ラジアルおよび方向性のコンポーネントに対して、更新ルールとステップサイズを分離します。
RODE は、行列フロベニウスノルムをスカラーラジアル規則で明示的に更新し、その方向チャネルは、接空間においてニュートン-シュルツ-条件付き更新を実行する。
制御された GPT-2 の介入は、直接ノルム制御と RODE の方向更新の両方から得ている。
2つの言語モデルと2つのイメージ分類タスクの中で、RODEは、すべての直接比較において2つのミューオン変種を上回り、最終的にはより低いフルモデルノルムで終わる。
1.5Bスケールでは、Qwen2スタイルのLMスイープから直接転送される学習率を用いて、RODEは損失を4.145から3.346に減らし、最後のグローバルノルムを11964から2183まで減らし、固定ラディウスRODEをさらに改善した。
Qwen3.5-9B フルパラメータの微調整では、6つのオプティマイザが同じチューニング予算と同じ形式的なトレーニングと評価設定を使用しており、RODE は4つの評価タスクすべてで Muon の変種を上回り、GSM8K と MATH-500 で最高値に達した。
したがって、ラジアル力学と方向力学の分離は、行列最適化に対してより効果的で制御可能なアプローチを提供する。
関連論文リスト
- Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。
これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。
アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
論文 参考訳（メタデータ） (2026-06-24T15:40:26Z) - Neuro-Inspired Inverse Learning for Planning and Control [0.3437656066916039]
本稿では,脳神経に触発された計画と制御のための枠組みを提案する。
我々は,哺乳動物の脳における高速かつ高効率な目標指向行動を可能にする3つの原理に基づいて構築する。
私たちのフレームワークは、Inverse Learningを通じてトレーニングされたエンドツーエンドの学習コンポーネントを使用します。
論文 参考訳（メタデータ） (2026-05-22T19:19:32Z) - Adam Improves Muon: Adaptive Moment Estimation with Orthogonalized Momentum [5.049533819651459]
雑音適応を伴う運動量の最初の原理的統合を提供するため、新しい対角拡張NAMOとNAMO-Dを提案する。
NAMO-D は代わりに、クランプされた成分を持つ対角行列による直交運動量を持つ。
GPT-2モデルの事前訓練実験では,AdamWモデルとMuonモデルと比較してNAMOモデルとNAMO-Dモデルの両方の性能が向上した。
論文 参考訳（メタデータ） (2026-02-19T05:00:39Z) - Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。
ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。
ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
論文 参考訳（メタデータ） (2026-02-03T08:15:57Z) - LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。
このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。
LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
論文 参考訳（メタデータ） (2026-01-30T06:44:33Z) - The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
スパーシティはモデル条件の最適化バイアスの表面積であることを示す。
我々はこれらの力学を三ゲージ理論で機械的に説明する。
本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-11-11T18:49:45Z) - AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。
AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
論文 参考訳（メタデータ） (2025-09-03T03:42:22Z) - Adaptive Model-Predictive Control of a Soft Continuum Robot Using a Physics-Informed Neural Network Based on Cosserat Rod Theory [2.7114475063296455]
本研究は、ドメイン分割物理インフォームドニューラルネットワーク(DD-PINN)に基づくSCRのためのリアルタイム対応非線形モデル予測制御(MPC)フレームワークを導入する。
シミュレーションでは、動的軌跡の正確な追跡と3mm以下の端点位置誤差によるセットポイント制御が示される。
実世界の実験では、コントローラーも同様の精度と加速を3.55 m/s2まで達成している。
論文 参考訳（メタデータ） (2025-08-18T07:24:36Z) - Comba: Improving Bilinear RNNs with Closed-loop Control [57.800320390698516]
本稿では,これらのモデルの利点と限界を包括的に分析したBilinear RNNの概念を紹介する。
我々は,状態フィードバックと出力フィードバックの両補正を併用した,スカラー+低ランク状態遷移を取り入れた新しいバイリニアRNNであるCombaを提案する。
また,大規模コーパス上での340M/1.3Bパラメータのトレーニングモデルと,ハードウェア効率のよいチャンクワイド並列カーネルを実装した。
論文 参考訳（メタデータ） (2025-06-03T05:44:50Z) - Hyperspherical Normalization for Scalable Deep Reinforcement Learning [57.016639036237315]
SimbaV2は最適化を安定させるために設計された新しい強化学習アーキテクチャである。
57の連続制御タスクにおいて、より大きなモデルとより大きな計算で効果的にスケールアップし、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-21T08:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。