論文の概要: Hyperball May Not Be a Free Lunch

• arxiv url: http://arxiv.org/abs/2607.22444v1
• Date: Fri, 24 Jul 2026 16:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.175662
• Title: Hyperball May Not Be a Free Lunch
• Title（参考訳）: Hyperballは無料のランチではないかもしれない
• Abstract要約: スケール不変のディープネットワークでは、Hyperballスタイルは行列パラメータのノルムを固定し、更新を正規化することで、大規模トレーニングにおいて強力なパフォーマンスを示している。 パラメータ更新角度,パラメータノルム,更新ノルムを考慮に入れた角有効学習率を導出する。 その結果,Hyperballにより誘導される更新方向が本質的に優れているというよりも,有効なステップサイズの進化に起因していることが示唆された。
• 参考スコア（独自算出の注目度）: 17.480363377980886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For scale-invariant deep networks, Hyperball-style optimizers have shown strong performance in large-scale training by fixing the norms of matrix-valued parameters and normalizing updates. However, the source of their advantage remains unclear. Starting from the angular displacement between consecutive parameter states, we derive an angular effective learning rate that accounts for the parameter-update angle, parameter norm, and update norm. We also show that the conventional norm-based measure is a special case under parameter-update orthogonality. We then decompose optimizer updates into radial and tangential components and analyze how radial updates affect one-step angular displacement. Under the training configurations considered, numerical results show that the radial component has only a limited direct effect on the angular effective learning rate. It therefore cannot explain why MuonH converges more slowly than MuonWD early in training but overtakes it later. To further isolate the underlying mechanism, we devise a heuristic experiment that modifies only the learning-rate schedule so that the dynamics of each optimizer reproduce those of the other. The results suggest that their main difference stems from the evolution of the effective step size rather than an intrinsically superior update direction induced by Hyperball. Our pretraining experiments further show that more aggressive learning-rate decay can accelerate MuonH early in training but may impair its later performance. Thus, maintaining a constant angular velocity does not eliminate the learning-rate-scheduling problem; careful scheduling remains essential to realizing the potential of Hyperball-style optimizers. Our code is publicly available at https://github.com/mangocrazz/hyperball-may-not-be-a-free-lunch.
• Abstract（参考訳）: スケール不変のディープネットワークでは、ハイパーボールスタイルのオプティマイザは、行列値パラメータのノルムを固定し、更新を正規化することで、大規模トレーニングにおいて強力なパフォーマンスを示している。 しかし、その利点の出所は不明である。 連続パラメータ状態間の角変位から始めると、パラメータ更新角度、パラメータノルム、更新ノルムを考慮に入れた角有効学習率を導出する。 また、従来のノルムに基づく測度はパラメータ更新直交の下で特別な場合であることを示す。 次に、オプティマイザ更新をラジアル成分と接点成分に分解し、ラジアル更新がワンステップ角変位に与える影響を分析する。 検討したトレーニング構成では,放射状成分は角有効学習率に限定的な直接的影響しか持たないことが明らかとなった。 したがって、MuonHがトレーニングの早い段階でMuonWDよりもゆっくりと収束する理由を説明することはできない。 基礎となるメカニズムをさらに分離するため,各最適化器のダイナミクスが相互に再現できるように,学習速度スケジュールのみを変更するヒューリスティックな実験を考案した。 その結果,Hyperballにより誘導される更新方向が本質的に優れているというよりも,有効なステップサイズの進化に起因していることが示唆された。 我々の事前学習実験は、より積極的な学習速度の減衰が、トレーニングの初期段階でMuonHを加速するが、その後のパフォーマンスを損なう可能性があることをさらに示している。 したがって、一定角速度を維持することは学習速度スケジューリングの問題を排除しないが、ハイパーボール方式のオプティマイザの可能性を実現するためには、注意深いスケジューリングが不可欠である。 私たちのコードはhttps://github.com/mangocrazz/hyperball-may-not-a-free-lunch.comで公開されています。

関連論文リスト

• The Active Ingredient in Muon's Grokking [2.921159958223653]
  我々は,Muon-fasterがAdamWよりも早くモジュラー算術のグラッキングしきい値に達することを示す。 Mounの振る舞いをよりよく理解するために、私たちはマルチシードおよびマルチラーニングレートのスイープを実行して、その効果を分解し、ストレステストします。
  論文  参考訳（メタデータ） (2026-07-06T22:35:57Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Muown Implicitly Performs Angular Step-size Decay [34.85105555596643]
  Muon や Muown のようなマトリックス対応の修正版は、最近、事前学習型トランスフォーマーに強い経験的性能を示している。 予備バージョンは、ナノGPTスピードランニングコンペティションの最適化カテゴリをリードしている。 Qwen2-0.5B と 1.1B のパラメータ混合モデルに関するさらなる実験は、小さなモデルを超えてアルゴリズムのスケールを確認する。
  論文  参考訳（メタデータ） (2026-06-22T17:28:45Z)
• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates [0.0]
  運動量に基づく更新の半直交特性について検討し、スペクトルノルム信頼領域下での運動量更新を束縛する方法を開発した。 半直交行列を構成することなく強い性能を達成する線形時間であるAuON(正規化非線形スケーリングによる代替単位ノルム運動量更新)を提案する。 提案手法は, 双極子-コサインRMSスケーリング変換と正規化を組み合わせることで, ニュートン-シュルツ法と比較して, 有効性と計算効率の両立を実証する。
  論文  参考訳（メタデータ） (2025-09-29T06:03:53Z)
• Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks [33.88586668321127]
  本研究は,ディープニューラルネットワークにおける個々のニューロンの更新挙動に重み劣化が及ぼす影響について検討する。 本研究では, 回転を明示的に制御することで, 重量減衰の利点が得られ, 学習率のウォームアップを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2023-05-26T19:14:01Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。