論文の概要: Muon Learns Facts Better: Understanding the Role of Spectral Orthogonalization
- arxiv url: http://arxiv.org/abs/2610.02798v1
- Date: Fri, 02 Oct 2026 04:42:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.20943
- Title: Muon Learns Facts Better: Understanding the Role of Spectral Orthogonalization
- Title（参考訳）: Muon氏がFactsについて学ぶ - スペクトル直交化の役割を理解する
- Abstract要約: 特徴学習における変化のメカニズムについて検討し,そのメカニズムについて考察した。
事実は、各主観関係対を回答にマッピングし、線形変換器は、このマッピングを回復するために必要な主観及び関係依存情報を学ぶ。
異なる正規直交埋め込みが特徴分離や大きな特徴分離フェーズ,さらには逆学習順序を生じさせない可能性があることを示す。
- 参考スコア（独自算出の注目度）: 54.23229838105028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Muon optimizer applies spectral orthogonalization to matrix-valued updates and has shown strong performance in large-scale neural network training, yet the mechanisms of this transformation in feature learning remain poorly understood. In this work, we investigate this question through a tractable factual-recall model, where a fact maps each subject-relation pair to an answer, and a linear transformer learns the subject- and relation-dependent information required to recover this mapping. The transformer is optimized with gradient flow (GF), spectral GF, or Sign GF, which are continuous-time limits of gradient descent, Muon, and Adam, respectively. Prior studies (Nichani et al., 2025) have shown that when the number of subjects exceeds the number of relations, GF learns relation-dependent information before subject-dependent information, producing a feature-separation phase during training. We characterize this separation with the learning times when the subject- and relation-dependent components of the prediction reach a target accuracy. With $S$ subjects and $R$ relations, GF has a learning-time ratio of $\widetildeΘ(\sqrt{S/R})$, whereas Spectral GF reduces this ratio to $\widetildeΘ(1)$. In addition, for fixed $S$ and $R$, the subject- and relation-dependent errors decay as $1/(T\log T)$ in training time $T$ under GF, but as $\exp(-\mathrm{poly}(T))$ under spectral GF. Finally, we show that GF and spectral GF are equivariant under orthogonal transformations of the token embeddings, whereas Sign GF is not: Different orthonormal embeddings can potentially produce no feature separation, a large feature-separation phase, or even a reversed learning order. These results provide a mechanistic view of how spectral orthogonalization can fundamentally reshape feature-learning dynamics.
- Abstract（参考訳）: Muonオプティマイザは、行列値更新にスペクトル直交化を適用し、大規模なニューラルネットワークトレーニングでは高いパフォーマンスを示しているが、この機能学習におけるこの変換のメカニズムは理解されていない。
そこで,本研究では,各主題-関係対を回答にマップする事実と,このマッピングを復元するために必要な主観的・関係的情報とを線形変換器で学習する事実-リコールモデルを用いて,この問題を考察する。
変圧器は勾配流(GF)、スペクトルGF(GF)、信号GF(GF)に最適化される。
これまでの研究(Nichani et al , 2025)では、被験者の数が関係数を超えると、GFは関係依存情報(relation-dependent information)を学習し、訓練中に特徴分離フェーズを生成することが示されている。
予測の主観的成分と関係性に依存した成分が目標精度に達する学習時間とを特徴付ける。
S$主語と$R$の関係では、GF は $\widetilde'(\sqrt{S/R})$ の学習時間比を持ち、一方 Spectral GF は $\widetilde'(1)$ の学習時間比を $\widetilde' (\sqrt{S/R})$ に減らす。
さらに、固定された$S$と$R$の場合、対象と関係に依存した誤差は、GFの下でのトレーニング時間$T$で1/(T\log T)$、スペクトルGF下では$\exp(-\mathrm{poly}(T)$で崩壊する。
最後に、GF とスペクトル GF はトークン埋め込みの直交変換の下で同変であることが示されるが、符号 GF はそうではない。
これらの結果は、スペクトル直交化が特徴学習力学を根本的に再形成する方法についての力学的見解を与える。
関連論文リスト
- Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - When Do Graph Foundation Models Transfer? A Data-Centric Theory [68.54337055801571]
グラフ基盤モデル(GFMs)は、様々なグラフドメインにまたがる単一のバックボーンの再利用を目的としているが、それらの転送は不均一であり、負の転送を示すことがある。
我々は、セットベースおよびメッセージパストークン化の両方に対して、任意のリプシッツバックボーンは、クロスドメイン出力シフトの明示的な分解を認めていることを示す。
我々はスペクトルPEの安定性を保証するとともに、固有ベクトルと部分空間に基づくPEの対比挙動を強調する。
論文 参考訳（メタデータ） (2026-05-28T12:07:27Z) - Tail-Aware Information-Theoretic Generalization for RLHF and SGLD [5.199823655866073]
Weibullデータに対するテール依存型情報理論フレームワークを開発した。
私たちの重要な技術的要素は、シフトlogf_$-divergenceを使って変化の期待を束縛するデレンマです。
これらのツールは、期待され高確率なPAC-Bayes一般化境界と、多スケールレニイ相互情報に基づく情報理論チェインの不等式をもたらす。
論文 参考訳（メタデータ） (2026-04-12T17:00:41Z) - The Spectral Geometry of Thought: Phase Transitions, Instruction Reversal, Token-Level Dynamics, and Perfect Correctness Prediction in How Transformers Reason [4.28787537081191]
大規模言語モデルでは, 推論と事実的リコールに係わる場合, 隠れたアクティベーション空間において, 音声の位相遷移が現れることがわかった。
我々は、トランスフォーマーにおける推論の包括的遠近法理論を確立し、思考の幾何学が方向性において普遍的であり、アーキテクチャに特有であり、結果の予測であることを示した。
論文 参考訳（メタデータ） (2026-04-03T09:18:57Z) - Learning In-context n-grams with Transformers: Sub-n-grams Are Near-stationary Points [17.339704162468042]
In-context next-token predictionタスクで訓練されたトランスフォーマーモデルの損失状況について検討する。
特に、コンテキスト内$n$-gramの言語モデルをクロスエントロピー損失下で学習することに焦点を当てる。
論文 参考訳（メタデータ） (2025-08-18T11:24:30Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。
最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Spectral Evolution and Invariance in Linear-width Neural Networks [8.419660614226816]
線形幅フィードフォワードニューラルネットワークのスペクトル特性について検討する。
この高次元構造における重みのスペクトルは、小さな定常学習率の勾配降下によって訓練されたときに不変であることを示す。
また,テストエラーや特徴学習の少ない適応的勾配学習では,重みとカーネルの両方に重みが認められた。
論文 参考訳（メタデータ） (2022-11-11T23:00:30Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - Phase Transitions for the Information Bottleneck in Representation
Learning [14.381429281068565]
Information Bottleneck(IB)では、圧縮と予測項の相対的な強度をチューニングする場合、この2つの用語はどのように振る舞うか、データセットと学習された表現との関係はどのようなものか?
IB損失ランドスケープの質的変化としてIB位相遷移の定義を導入し,その遷移が新しいクラス学習の開始に対応することを示す。
IB相転移の実用的な条件を提供する式を導出し、パラメータ化モデルのフィッシャー情報行列と接続する。
論文 参考訳（メタデータ） (2020-01-07T03:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。