論文の概要: Muon Is Theoretically Wrong For Convolutions, But Empirically Effective

• arxiv url: http://arxiv.org/abs/2610.07103v1
• Date: Mon, 05 Oct 2026 14:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.560923
• Title: Muon Is Theoretically Wrong For Convolutions, But Empirically Effective
• Title（参考訳）: Muonは理論上は進化に失敗するが、実証的に効果がある
• Abstract要約: ミューオンはその効率で知られているが、畳み込み核は4次元テンソルとして保存される。 標準実装はこれらのテンソルを行列に変換し、これはムオンの背後にある理論的理解を破るショートカットである。 本稿では,カーネルサポートを保ちながら,この幾何学における極係数を近似したConv-NSを紹介する。
• 参考スコア（独自算出の注目度）: 7.966927192439667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon, an optimizer known for its efficiency, has a clear interpretation for matrix-valued updates, but convolutional kernels are stored as four-dimensional tensors. Standard implementations reshape these tensors into matrices, a shortcut which breaks the theoretical understanding behind Muon. To investigate this, we formalize the corresponding optimization objective directly in convolutional operator geometry and introduce Convolutional Newton-Schulz (Conv-NS), which approximates the polar factor in this geometry while preserving kernel support. When applied in fast training experiments, Conv-NS and reshape-based Muon are both computationally efficient and achieve comparable accuracy on CIFAR-10 and ImageNet classification tasks. However, as one could expect a theoretically aligned Conv-NS to outperform reshape-based Muon, we investigate this mismatch between practice and theoretical understanding, with the hypothesis that exact convolutional orthogonalization may overconstrain updates. These findings highlight Muon's strong practical performance while opening directions for its further development on convolutions. Our code is publicly available at \href{https://github.com/thib-s/muonconv-cifar10-airbench}{github conv-muon}.
• Abstract（参考訳）: 効率性で知られる最適化器であるMuonは、行列値更新の明確な解釈を持つが、畳み込みカーネルは4次元テンソルとして保存される。 標準実装はこれらのテンソルを行列に変換し、これはムオンの背後にある理論的理解を破るショートカットである。 そこで我々は,畳み込み演算子幾何において,対応する最適化目標を直接形式化し,カーネルサポートを保ちながら,この幾何学の極因子を近似した畳み込みニュートン・シュルツ(Conv-NS)を導入する。 高速トレーニング実験に適用した場合、Conv-NS と Reshape-based Muon は計算効率が良く、CIFAR-10 と ImageNet の分類タスクで同等の精度を達成できる。 しかし、理論的に整合した Conv-NS がリシェープベースの Muon より優れていると期待できるので、我々はこの実践と理論的理解のミスマッチを、正確な畳み込み直交化が更新を過剰に抑制するのではないかという仮説で調べる。 これらの知見は、ムオンの強い実践的業績を浮き彫りにし、さらに混乱の進行に向けての道のりを開いている。 私たちのコードは、 \href{https://github.com/thib-s/muonconv-cifar10-airbench}{github conv-muon}で公開されています。

関連論文リスト

• Muon-C: Operator-Aligned Muon for Convolutional Kernels [5.886986014593717]
  周波数ワイドチャネル転送行列としてカーネル運動量を表す演算子アラインメントであるMuonを導入する。 ブロック分割とフーリエ座標を組み合わせることで新しい幾何学が生まれることを示す。 Muon-C は 40k イテレーションで 9.87 FID に達し、Unfolded Muon は 22.26、Adam は 51.31 である。
  論文  参考訳（メタデータ） (2026-09-09T03:45:44Z)
• Muon as a Residual Connection [4.242184336943779]
  Muonは、大規模なニューラルネットワークをトレーニングするための最も効果的な保存の1つとして登場した。 我々は,ミュオンをトレーニング中に暗黙的な残差接続と解釈できる機構的解釈を提案する。
  論文  参考訳（メタデータ） (2026-07-01T16:12:24Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• Delving into Muon and Beyond: Deep Analysis and Extensions [8.297062899157664]
  We study Muon as the p = 0 end of a family of a spectrum transformations of form U boldsymbolp V'。 RMS正規化更新は、最初のモーメント更新よりも安定した最適化をもたらす。 この結果から,Muonはスペクトル正規化の有効な形式として理解されているのがよいが,汎用的に優れた最適化手法ではないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T15:40:47Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• SMPConv: Self-moving Point Representations for Continuous Convolution [4.652175470883851]
  本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。 重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。 その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-05T09:36:30Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。