論文の概要: Distance-Aware Muon: Adaptive Step Scaling for Normalized Optimization

• arxiv url: http://arxiv.org/abs/2605.18999v1
• Date: Mon, 18 May 2026 18:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.914418
• Title: Distance-Aware Muon: Adaptive Step Scaling for Normalized Optimization
• Title（参考訳）: 距離対応ミューオン:正規化最適化のための適応的なステップスケーリング
• Authors: Yury Demidovich, Abhishek Chakraborty, Grigory Malinovsky, Angelia Nedić, Peter Richtárik,
• Abstract要約: ミューオンと関連する正規化は、ステップスケールの選択から更新方向の選択を分離する。 我々は,Muonチューニングのための3つの補完アルゴリズムを開発し,正規化適応スケーリングパラメータを開発した。
• 参考スコア（独自算出の注目度）: 47.817303172845506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon and related normalized optimizers decouple the choice of update direction from the choice of step scale, but their practical performance remains sensitive to the scale of the normalized step. We study adaptive scaling rules for Muon in general norm geometries and develop three complementary algorithms. For smooth non-convex objectives, we introduce Distance-Adaptive Muon, whose trust-region radius is set from the radius explored by the trajectory, and prove a stationarity guarantee under a bounded-trajectory assumption. We then turn to star-convex objectives, a tractable model of the favorable global geometry often used to reason about the empirical loss landscapes of deep neural networks, where objective-gap guarantees are possible. In this setting, we first introduce Scale-Calibrated Muon, which keeps Muon's exponential moving average but sets the step length from a local descent certificate computed from the current gradient and momentum. For this method, we prove a last-iterate O(1/T) objective-gap bound under a bounded initial sublevel-set assumption, where the corresponding radius parameter appears only in the analysis and not in the algorithm. Finally, we develop Distance-Free Muon, a recentered trust-region method that uses a scalar distance certificate and a majorized one-dimensional search to select the trust-region radius without requiring the unknown distance from the initialization to a global minimizer. Experiments on Transformer language modeling (GPT-124M/WikiText-103) and image classification (ViT-Tiny/CIFAR-100) show that the proposed adaptive scaling rules reduce sensitivity to manual scale tuning and match or improve tuned fixed-scale Muon baselines under the tested budgets.
• Abstract（参考訳）: ミューオンと関連する正規化オプティマイザは、ステップスケールの選択から更新方向の選択を分離するが、それらの実用性能は通常のステップのスケールに敏感である。 一般標準測地におけるMuonの適応スケーリングルールについて検討し、3つの相補的アルゴリズムを開発した。 円滑な非凸目的のために、距離適応ミューオンを導入し、信頼領域半径を軌道によって探索された半径から設定し、有界軌道仮定の下で定常性を保証する。 そして、深層ニューラルネットワークの実証的な損失景観を推論するためによく使われる、地球的幾何学の抽出可能なモデルである星凸目標に目を向けます。 この設定では、まずスケールキャリブレーション・ムオンを導入する。これは、ムオンの指数移動平均を維持するが、現在の勾配と運動量から計算された局所降下証明書からステップ長を設定する。 本手法では, 初期準位セットの前提条件の下で, アルゴリズム内ではなく解析内のみに対応する半径パラメータが現れる場合, 最終定値 O(1/T) 目標ギャップが有界であることを証明した。 最後に、スカラー距離証明と大規模一次元探索を用いて、初期化から大域最小化まで未知の距離を必要とせずに信頼領域半径を選択する、最近の信頼領域法である Distance-Free Muon を開発した。 トランスフォーマー言語モデリング (GPT-124M/WikiText-103) と画像分類 (ViT-Tiny/CIFAR-100) の実験により, 提案した適応スケーリングルールは手動スケールチューニングに対する感度を低減し, 試験予算下での調整済み固定スケールムーンベースラインの改善を図っている。

関連論文リスト

• OrScale: Orthogonalised Optimization with Layer-Wise Trust-Ratio Scaling [10.699320611591332]
  天然のMuon-LAMBハイブリッド3種は, 形状劣化, 生モメンタムクリップ飽和, 脱重脱落, および崩壊がこれらの故障を回避していることを示す。 シンプルなルールに基づいて構築されたMuonの信頼度の高いレイヤ尺度であるOrScaleを紹介します。
  論文  参考訳（メタデータ） (2026-05-08T14:47:56Z)
• Keep It CALM: Toward Calibration-Free Kilometer-Level SLAM with Visual Geometry Foundation Models via an Assistant Eye [34.902300948471314]
  CAL2Mは任意のVGFMと互換性のあるプラグイン・アンド・プレイのフレームワークである。 一定の物理的間隔の先行を利用するためだけに「補助眼」を使用する。 不正確な内因論による回転と翻訳の誤りを効果的に正すことができる。
  論文  参考訳（メタデータ） (2026-04-16T08:58:57Z)
• AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
  我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
  論文  参考訳（メタデータ） (2025-09-03T03:42:22Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• NeuralGF: Unsupervised Point Normal Estimation by Learning Neural Gradient Function [55.86697795177619]
  3次元点雲の正規推定は3次元幾何処理の基本的な課題である。 我々は,ニューラルネットワークが入力点雲に適合することを奨励する,ニューラルグラデーション関数の学習のための新しいパラダイムを導入する。 広範に使用されているベンチマークの優れた結果から,本手法は非指向性および指向性正常推定タスクにおいて,より正確な正規性を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-01T09:25:29Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• Robust 6D Object Pose Estimation by Learning RGB-D Features [59.580366107770764]
  本稿では、この局所最適問題を解くために、回転回帰のための離散連続的な新しい定式化を提案する。 我々はSO(3)の回転アンカーを均一にサンプリングし、各アンカーから目標への制約付き偏差を予測し、最適な予測を選択するための不確実性スコアを出力する。 LINEMOD と YCB-Video の2つのベンチマーク実験により,提案手法が最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-02-29T06:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。