論文の概要: Muon-C: Operator-Aligned Muon for Convolutional Kernels
- arxiv url: http://arxiv.org/abs/2609.09676v1
- Date: Wed, 09 Sep 2026 03:45:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.890366
- Title: Muon-C: Operator-Aligned Muon for Convolutional Kernels
- Title（参考訳）: Muon-C: 畳み込みカーネル用の演算子アラインムーン
- Abstract要約: 周波数ワイドチャネル転送行列としてカーネル運動量を表す演算子アラインメントであるMuonを導入する。
ブロック分割とフーリエ座標を組み合わせることで新しい幾何学が生まれることを示す。
Muon-C は 40k イテレーションで 9.87 FID に達し、Unfolded Muon は 22.26、Adam は 51.31 である。
- 参考スコア（独自算出の注目度）: 5.886986014593717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon replaces matrix momentum with an approximately orthogonal polar direction, but its geometry depends on the matrix representation. For convolution, standard unfolding describes a local patch map rather than the convolution operator. We introduce Muon-C, an operator-aligned optimizer that represents kernel momentum as frequency-wise channel-transfer matrices, polarizes these blocks independently, and uses a critical Fourier grid to return updates exactly to the original finite kernel support. We show that the new geometry arises from combining the block partition and Fourier coordinates. The exact-polar direction is a linear minimization oracle under the critically sampled convolution norm. Its worst-case guarantee relative to the continuous convolution-operator norm is never weaker than unfolding and is strictly stronger for $3\times3$ kernels. On CIFAR-10 flow matching with matched applied-update RMS, Muon-C reaches 9.87 FID at 40k iterations, compared with 22.26 for unfolded Muon and 51.31 for Adam. It reaches their final quality using $0.62\times$ and $0.64\times$ their model FLOPs, respectively. Under equal tuning budgets, Muon-C achieves 3.42 FID. Gains persist across data scales and transfer to classification across convolutional architectures.
- Abstract（参考訳）: ミューオンは行列運動量をほぼ直交極方向で置き換えるが、その幾何学は行列表現に依存する。
畳み込みでは、標準展開は畳み込み演算子ではなく局所的なパッチマップを記述する。
本稿では,カーネルモーメントを周波数ワイドチャネル転送行列として表現する演算子指向の最適化器であるMuon-Cを紹介し,これらのブロックを独立に分極し,臨界フーリエ格子を用いて元の有限カーネルサポートに更新を返す。
ブロック分割とフーリエ座標を組み合わせることで新しい幾何学が生まれることを示す。
正極方向は、臨界サンプリング畳み込みノルムの下での線形最小化オラクルである。
連続的な畳み込み-演算ノルムに対する最悪の保証は、展開するよりも弱くはない。
CIFAR-10フローマッチングでは、Muon-Cは40k繰り返しで9.87 FIDに達し、Unfolded Muonは22.26、Adamは51.31となった。
最終的な品質は、それぞれ$0.62\times$と$0.64\times$を使用して達成される。
均等なチューニング予算の下では、Muon-C は 3.42 FID を達成する。
データスケールを越えたゲインの継続と、畳み込みアーキテクチャによる分類への移行。
関連論文リスト
- Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。
GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
論文 参考訳（メタデータ） (2026-09-07T15:07:24Z) - Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform [65.89510337046077]
等変ネットワークは、ウェイトシェアリングを通じて構造的先行として幾何学的対称性を埋め込む。
既存の実装では、構造化された重みを高密度な行列に展開し、それらを一般的な高密度なカーネルにディスパッチする。
これは、同変ネットワークが3つの軸を同時に持つ非同変ネットワークを厳密に支配するのは、これが初めてである。
論文 参考訳（メタデータ） (2026-07-23T12:45:21Z) - Structural Kolmogorov-Arnold Convolutions: Learnable Function on the Values or the Filter Shape as Parameter-Efficient Alternative to Per-Edge Convolutional KANs [76.06235645266621]
Convolutional Kolmogorov--Arnold Networks (KAN) は、畳み込みカーネルの固定重みを学習可能な単変数関数に置き換える。
学習可能な関数は、各エッジよりも畳み込みのエンファン構造に置かれる方がよいと我々は主張する。
論文 参考訳（メタデータ） (2026-06-23T10:00:26Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - PolarAdamW: Disentangling Spectral Control and Schur Gauge-Equivariance in Matrix Optimisation [0.2538209532048867]
PolarAdamWは、ムオンの極性スペクトル-ノルム制御を保存するが、ゲージ-等分散を破る制御ハイブリッドである。
DeiT-TinyはImageNet-1kの4つの独立した100クラスのサブセットをスクラッチからトレーニングした。
多重性基底自由度が非自明なSO(3)-同変3D点雲回帰では、Muonは監査された全容量でPolarAdamWより優れる。
論文 参考訳（メタデータ） (2026-05-08T00:19:13Z) - SignMuon: Communication-Efficient Distributed Muon Optimization [1.009732307721003]
本稿では,SGD からの多数投票符号の集約と Muon の極性に基づくフレームワークを組み合わせた 1 ビット行列対応の Sign-Muon を提案する。
330AR-10/ResNet-50構成で、Sign-Muonは最もスムーズなトレーニング時間(92.15% 4-GPUの多数投票型)を、他の符号ベースのベースラインよりも37%小さくする。
論文 参考訳（メタデータ） (2026-05-04T13:29:55Z) - Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。
メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
論文 参考訳（メタデータ） (2026-04-11T00:27:40Z) - Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training [0.0]
MUD(MomentUm Decorrelation)は,Muonの極点更新を三角形(Cholesky様)の白化代理に置き換える補完的な白化手法である。
MUDは、調整されたAdamWとMuonよりも、10-50%のウォールクロック改善を実現している。
また,EMM-2 150Mタンパク質言語モデルのトレーニングを行った。
論文 参考訳（メタデータ） (2026-03-18T17:37:31Z) - Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。
アダム型学習法は,大規模言語モデルの最小化よりも優れている。
論文 参考訳（メタデータ） (2025-12-18T14:38:39Z) - Error Feedback for Muon and Friends [80.90330715662961]
我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。
我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
論文 参考訳（メタデータ） (2025-10-01T08:20:08Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。