論文の概要: Taming Softmax at the Limits of Muon: A Unified Approach through Hilbert Geometry
- arxiv url: http://arxiv.org/abs/2610.17588v1
- Date: Tue, 13 Oct 2026 02:07:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.489232
- Title: Taming Softmax at the Limits of Muon: A Unified Approach through Hilbert Geometry
- Title（参考訳）: ムーン極限におけるソフトマックスのモデリング:ヒルベルト幾何学による統一的アプローチ
- Abstract要約: Muon は線形層の出力の RMS 移動を通じて重み更新を制御する。
これは、線型出力を全加群に対するプロキシとして暗黙的に扱い、従う非線形性を含む。
これらの出力分布の変化を有界化するための自然な計量としてヒルベルト距離を提案する。
- 参考スコア（独自算出の注目度）: 46.31567828395955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon controls weight updates through the RMS movement of a linear layer's output. This implicitly treats the linear output as a proxy for the full module, including the nonlinearity that follows. This proxy can be misleading for softmax, where the RMS shift in activations does not faithfully measure the change in the output distribution. We propose Hilbert distance as a natural metric for bounding changes in these output distributions. Hilbert distance bounds changes in cross-entropy loss and limits probability redistribution. For softmax, it takes the form of the variation seminorm of the preactivation perturbation, allowing probability constraints to be expressed as parameter constraints. Formulating the steepest descent problem with a Hilbert distance constraint brings two recently proposed methods under a unified mathematical framework. For the LM head, solving a row-wise approximation to the resulting diameter-constrained problem leads us to RowNorm \citep{pethick2025trainingdeeplearningmodels}. For scaled dot-product attention, the same principle yields the first-order query--key steepest descent problem underlying Compositional Muon \citep{keigwin2026compositional}. These connections motivate using Hilbert distance as a guiding principle for optimizer design in softmax modules.
- Abstract（参考訳）: Muon は線形層の出力の RMS 移動を通じて重み更新を制御する。
これは、線型出力を全加群に対するプロキシとして暗黙的に扱い、従う非線形性を含む。
このプロキシは、アクティベーションにおけるRMSシフトが出力分布の変化を忠実に測定しないソフトマックスに対して誤解を招く可能性がある。
これらの出力分布の変化を有界化するための自然な計量としてヒルベルト距離を提案する。
ヒルベルト距離は交叉エントロピー損失の変化と確率再分配を制限する。
ソフトマックスの場合、これはプレアクティベーション摂動の変分半ノルムの形をとり、確率制約をパラメータ制約として表現することができる。
ヒルベルト距離制約を用いて最も急降下問題を定式化すると、2つの最近提案された方法が統一的な数学的枠組みの下でもたらされる。
LMヘッドに対して、その結果の直径制約問題に対する行ワイズ近似を解くことにより、RowNorm \citep{pethick2025trainingdeeplearningmodels} が導かれる。
スケールされたドット積の注意については、同じ原理が一階のクエリー--キーの急降下問題を生み出し、構成的ミューオン{keigwin2026compositional} の根底にある。
これらの接続は、ソフトマックス加群における最適化設計の指針原理としてヒルベルト距離を用いて動機付けられる。
関連論文リスト
- Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。
スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
論文 参考訳（メタデータ） (2026-09-07T01:38:41Z) - A Barrier-Metric First-Order Method for Linearly Constrained Bilevel Optimization [1.4323566945483492]
固定された多面体下実現可能性集合を用いた双レベル最適化について検討した。
アクティブセットの変更は、上位の目的を非滑らかにすることができる。
既存の過次法は、典型的には低いヘッセン逆数や等価線型解を必要とする。
論文 参考訳（メタデータ） (2026-05-12T03:44:08Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning [2.8266810371534152]
線形+ソフトマックス最終層を持つ非ネイティブなディープラーニングモデルには問題がある。
ラテント空間は条件付き確率$p(Y|X)$だけを予測するが、完全関節分布$p(Y,X)$は予測しない。
このことは、幻覚、不明瞭なバイアス、大規模なデータセットへの依存など、多くの問題に影響を及ぼす過信モデルをさらに悪化させる。
論文 参考訳（メタデータ） (2024-04-27T18:41:32Z) - Horizon-Free Regret for Linear Markov Decision Processes [92.02082223856479]
最近の一連の研究は、強化学習における残念な境界が(ほぼ)計画的地平から独立していることを示している。
我々は、人気のある線形マルコフ決定過程(MDP)設定に対して、最初の地平面自由境界を与える。
遷移モデルを明示的に推定し、不均一な値関数を計算する先行研究とは対照的に、直接値関数と信頼集合を推定する。
論文 参考訳（メタデータ） (2024-03-15T23:50:58Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Provably Efficient Model-Free Constrained RL with Linear Function
Approximation [4.060731229044571]
我々は,大規模システムにおいても,サブリニア後悔とサブリニア制約違反を実現するための,最初のモデルフリーシミュレータフリーアルゴリズムを開発した。
本結果は,標準LSVI-UCBアルゴリズムの新たな適応により達成される。
論文 参考訳（メタデータ） (2022-06-23T17:54:31Z) - Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable
Approach for Continuous Markov Random Fields [53.31927549039624]
断片的な離散化は既存の離散化問題と矛盾しないことを示す。
この理論を2つの画像のマッチング問題に適用する。
論文 参考訳（メタデータ） (2021-07-13T12:31:06Z) - Online DR-Submodular Maximization with Stochastic Cumulative Constraints [17.660958043781154]
線形長期制約を伴うオンライン連続DR-サブモジュラーを考える。
オンラインラグランジアンFrank-Wolfe (OLFW) アルゴリズムは、この種のオンライン問題を解く。
論文 参考訳（メタデータ） (2020-05-29T17:55:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。