論文の概要: Can Representation Learning Decouple from Loss Minimization? Polar Updates Have an Answer

• arxiv url: http://arxiv.org/abs/2609.36240v1
• Date: Mon, 28 Sep 2026 20:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.005113
• Title: Can Representation Learning Decouple from Loss Minimization? Polar Updates Have an Answer
• Title（参考訳）: 表現学習は損失最小化から切り離せるか?
• Abstract要約: 本研究では,訓練損失が改善しない場合に表現学習が停止するかどうかを考察する。 教師の学習玩具に対する明示的なサイクルとアライメントの公式と条件付きプラトーと崩壊境界を導出する。 33 ReLU, GELU, SiLUの教師構成について, 方向のみのアライメント尺度を用いて, 学生AGOPが周期2の発振中に教師のサブ空間に整合しているか, あるいは整合しているかを示した。
• 参考スコア（独自算出の注目度）: 2.4140387101794283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Does representation learning stop when the training loss stops improving? We study this question for matrix Muon, whose polar-normalised updates have a step length set by the gradient's rank rather than its norm. Near the edge of stability, full-batch Muon on teacher-student problems enters approximately period-2 loss oscillations that persist for thousands of steps: the cycle-mean loss stays flat or rises, yet the weights keep moving and the learned features continue to align with the teacher subspace. For linear teacher-student learning toys, we derive explicit cycle and alignment formulas and conditional plateau and decay bounds. For a population mean-field ReLU model, we prove that, under stated dimension, initialisation and small-head conditions, the leading eigenspace of the average gradient outer product (AGOP) recovers the teacher subspace exactly during a loss plateau, before the loss later drops. In all 33 ReLU, GELU and SiLU teacher configurations we study, direction-only alignment metrics show the student AGOP aligned with, or still aligning to, the teacher subspace during the period-2 oscillations; projected head refitting on selected configurations shows that the learned directions are useful for prediction, and further measurements distinguish AGOP alignment from weight-mass concentration. In deep residual ReLU students, freezing the downstream layers while the first layer trains with full-batch exact polar updates recreates a nearly flat cycle-mean loss with improving input-AGOP alignment; freezing and unfreezing switch between this plateau and loss decrease, and the effect is sensitive to momentum and to the choice of orthogonaliser.
• Abstract（参考訳）: 表現学習は、トレーニングの損失が改善しないときに止まるか? この問題は、偏極正規化更新が標準よりも勾配の階数によって設定されるステップ長を持つ行列ムオンに対して検討する。 安定の端近くでは、教師の学生問題に対するフルバッチのムーンが、何千段も続くおよそ2時間の損失振動に入り、サイクル平均損失は平らに保たれるか上昇するが、重みは動き続け、学習された特徴は教師のサブスペースと整合し続けている。 線形学習玩具の場合、明示的なサイクルとアライメント公式、条件付きプラトーと崩壊境界を導出する。 人口平均場 ReLU モデルでは, 平均勾配外積 (AGOP) の先頭固有空間は, 損失高原の間, 損失が後から減少する前に, 教師部分空間を正確に回復することを示した。 これら33のReLU, GELU, SiLUの教師構成において, 方向のみのアライメント尺度は, 周期2の発振中における教師のサブスペースと一致しているか, あるいは一致しているかを示し, 選択した構成に投影された頭部再構成は, 学習方向が予測に有用であることを示し, さらに, AGOPアライメントと重量-質量濃度を区別する。 深部残留ReLUの学生では、第1層が全バッチ完全極性更新を行う間、下流層を凍結させ、入力-AGOPアライメントを改善することにより、ほぼ平らなサイクル平均損失を再現し、このプラトー間の凍結・非凍結スイッチと損失減少を再現し、その効果は運動量や直交器の選択に敏感である。

関連論文リスト

• Muon Sublates the Edge of Stability in LLM Pretraining [13.845131229040591]
  ムオンの大きなステップのダイナミクスは、古典的な不安定な降下図では捉えられていないことを示す。 制御された実験により、損失バランスと時間的アライメントは学習率とバッチサイズに異なる反応を示す。 損失ニュートラルエッジは残るが、普遍的な時間方向シグネチャは伴わない。
  論文  参考訳（メタデータ） (2026-09-28T11:17:01Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent [11.327284468812948]
  負シフト勾配降下は構造的制約から逃れることを示す。 フィルタは、wil-be極で滑らかで、混合符号対応である。 有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
  論文  参考訳（メタデータ） (2026-07-24T16:42:46Z)
• Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps [4.422349568747053]
  本稿では,大規模モデル事前学習の既定であるウォームアップ安定度学習スケジュール(WSD)の段階について検討する。 提案手法は, 勾配雑音の構造と勾配雑音の構造が正規化するか否かという2つの特性を同時に有する。
  論文  参考訳（メタデータ） (2026-07-14T05:21:38Z)
• The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
  Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。 この操作によって生成される最適化バイアスについて検討する。
  論文  参考訳（メタデータ） (2026-06-07T00:51:30Z)
• Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
  勾配平衡は標準オンライン学習法によって達成される。 勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。 勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
  論文  参考訳（メタデータ） (2025-01-14T18:59:09Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• On regularization of gradient descent, layer imbalance and flat minima [9.08659783613403]
  我々は、解の平坦性を定義する新しい計量-不均衡-を用いて、ディープ線形ネットワークのトレーニングダイナミクスを解析する。 重み付け減衰や雑音データ増大などの異なる正規化手法も同様に振る舞うことを実証する。
  論文  参考訳（メタデータ） (2020-07-18T00:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。