論文の概要: When and Why Grouping Attention Heads Accelerates Muon Optimization

• arxiv url: http://arxiv.org/abs/2605.08933v1
• Date: Sat, 09 May 2026 13:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.975819
• Title: When and Why Grouping Attention Heads Accelerates Muon Optimization
• Title（参考訳）: グループアテンションはいつ、なぜミューオン最適化を加速させるのか
• Abstract要約: 本研究は, ムオンが全注意投影, 個々の頭部, 中間頭部群に適用されるべきかどうかを検討する。 分析の結果,グループワイド更新によるグループワイド白化と,グループワイド白化によるグループワイド白化に伴う更新ノームコストとのトレードオフが明らかになった。
• 参考スコア（独自算出の注目度）: 51.89517622356298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon orthogonalizes matrix updates, but multi-head attention naturally operates at the level of heads. This granularity mismatch raises the question of whether Muon should be applied to the full attention projection, to individual heads, or to intermediate head groups. We study this question through a one-step descent comparison between full-matrix Muon and group-wise Muon. Our analysis reveals a trade-off between the \textbf{group-wise whitening gain} from group-wise updates and the \textbf{grouping-induced norm cost}, an additional update-norm cost caused by replacing full-matrix whitening with group-wise whitening. Motivated by this trade-off, we propose \textbf{Group Muon}, which treats head group size and grouping rule as optimizer hyperparameters. On GPT-2 Small trained on FineWeb, appropriate grouping improves validation loss over both full-QKV Muon and fully head-wise MuonSplit.
• Abstract（参考訳）: ミューオンは行列更新を直交するが、マルチヘッドアテンションは自然にヘッドのレベルで機能する。 この粒度のミスマッチは、ムオンが完全な注意投影、個々の頭部、または中間ヘッド群に適用されるべきかどうかという問題を提起する。 この問題を,全行列ミューオンとグループワイドミューオンの1段階の降下比較により検討する。 分析の結果,グループワイズ更新とグループワイズ更新による更新ノームコストとのトレードオフが明らかとなり,グループワイズ白化に代えて,グループワイズ白化による更新ノームコストが増大した。 このトレードオフにより、ヘッドグループのサイズとグループ化ルールをオプティマイザハイパーパラメータとして扱う \textbf{Group Muon} を提案する。 GPT-2 FineWebで訓練された小さなグループでは、完全なQKV Muonと完全なヘッドワイド Muon Splitによるバリデーション損失が改善されている。

関連論文リスト

• Reassessing Muon for Matrix Factorization [9.691906492780353]
  Muonは、大規模なディープラーニングにおいて強力な競争相手として現れている。 簡単な、よく理解され、スペクトル的に構造化された問題(低ランク行列分解)について、Muonについて研究する。 この設定では、MuonはAdamWを一貫して上回るわけではない。
  論文  参考訳（メタデータ） (2026-07-14T20:21:38Z)
• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training [0.0]
  MUD(MomentUm Decorrelation)は,Muonの極点更新を三角形(Cholesky様)の白化代理に置き換える補完的な白化手法である。 MUDは、調整されたAdamWとMuonよりも、10-50%のウォールクロック改善を実現している。 また,EMM-2 150Mタンパク質言語モデルのトレーニングを行った。
  論文  参考訳（メタデータ） (2026-03-18T17:37:31Z)
• Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
  スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。 我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。 textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
  論文  参考訳（メタデータ） (2026-03-10T14:03:49Z)
• Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
  We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。 我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-05T14:49:40Z)
• The Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization [37.169656352055604]
  我々は、Dionと密接に関連するFanionsという名前のMuonライクなアルゴリズムのファミリーを紹介する。 F-ムーンとS-ムーンはムオンのパフォーマンスと一貫して一致し、合成線形最小二乗問題ではバニラ・ムーンよりも優れていた。
  論文  参考訳（メタデータ） (2025-12-10T14:25:45Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• GroupedMixer: An Entropy Model with Group-wise Token-Mixers for Learned Image Compression [64.47244912937204]
  本稿では,GroupedMixerと呼ばれるトランスフォーマーベースのエントロピーモデルを提案する。 GroupedMixerは、従来のトランスフォーマーベースの方法よりも高速なコーディング速度と圧縮性能の両方を享受している。 実験結果から,提案したGroupedMixerは高速圧縮速度で最先端の速度歪み特性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-02T10:48:22Z)
• Advancing Vision Transformers with Group-Mix Attention [59.585623293856735]
  グループミクス・アテンション(GMA)は、従来の自己アテンションの先進的な代替品である。 GMAは、さまざまなグループサイズとトークン・ツー・トークン・ツー・グループ、グループ・ツー・グループ相関を同時に取得する。 GroupMixFormerは、画像分類、オブジェクト検出、セマンティックセグメンテーションにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-26T01:25:03Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。