論文の概要: Optimizer Geometry Sets the Pace: Spectral Learning Dynamics in Matrix Factorization

• arxiv url: http://arxiv.org/abs/2610.04249v1
• Date: Sat, 03 Oct 2026 03:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 12:15:37.566529
• Title: Optimizer Geometry Sets the Pace: Spectral Learning Dynamics in Matrix Factorization
• Title（参考訳）: Optimizer Geometrys Sets the Pace: Spectral Learning Dynamics in Matrix Factorization
• Abstract要約: 深い行列分解において、勾配降下を遅くする幾何学は、小さな特異モードの出現を遅らせることによって低ランクの解を好む。 本研究では, 特異モード力学の共通枠組みを用いて, 幾何と深度が協調的にこの挙動を統治する方法について検討する。
• 参考スコア（独自算出の注目度）: 30.50715137003049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent successes of matrix- and curvature-based optimizers have renewed interest in how update geometry shapes learning. These methods normalize or precondition updates, changing how different components progress during training. In deep matrix factorization, the geometry that slows gradient descent (GD) favors low-rank solutions by delaying the emergence of small singular modes. This raises the question of what remains of that spectral bias when normalization or curvature correction weakens or removes the slowdown. We study how optimizer geometry and depth jointly govern this behavior through a common framework for singular mode dynamics. Under explicit balance and alignment assumptions, we derive birth, saturation, and decay laws for Euclidean GD, coordinate-wise updates of SignGD and an instantaneous Adam approximation, spectral updates of Muon and cumulative Shampoo, and a block curvature model of K-FAC. The resulting picture is not a simple ordering from stronger to weaker low-rank bias. To highlight, SignGD and ideal Muon eliminate the divergent birth barrier and drive unsupported modes to zero in finite time. Cumulative Shampoo initially retains GD's depth-dependent barrier, then accumulated gradients produce a catch-up phase while making previously active modes increasingly persistent. Undamped K-FAC cancels the factorization-induced slowdown while preserving the ordering of the target singular values, whereas positive damping introduces a spectral threshold below which the slow GD phase laws reappear. These results give normalization, accumulated state, damping, and depth a direct interpretation as controls determining when modes emerge, persist, and disappear during training.
• Abstract（参考訳）: 行列および曲率に基づく最適化の最近の成功は、幾何形状の学習の更新方法に新たな関心を寄せている。 これらのメソッドは正規化またはプレコンディションの更新を行い、トレーニング中に異なるコンポーネントがどのように進行するかを変更する。 深い行列分解において、勾配降下(GD)を遅くする幾何学は、小さな特異モードの出現を遅らせることによって低階解を好む。 このことは、正規化や曲率補正が減速を弱めたり取り除いたりする際に、そのスペクトルバイアスの残余がどうなるかという問題を提起する。 本研究では, 特異モード力学の共通枠組みを用いて, 最適化幾何と深さが協調的にこの挙動を制御する方法について検討する。 明示的なバランスとアライメントの仮定の下では、ユークリッドGDの誕生、飽和、崩壊の法則、SignGDの座標ワイドな更新と瞬時アダム近似、Muonと累積シャンプーのスペクトル更新、K-FACのブロック曲率モデルの導出を行う。 結果の図は、より強いものからより弱いものへの単純な順序ではない。 強調するために、SignGD と ideal Muon は、発散障壁とドライブバックモードを有限時間でゼロにする。 累積シャンプーは最初はGDの深さ依存性のバリアを保持し、その後蓄積した勾配はキャッチアップフェーズを発生させ、それまでのアクティブモードはますます持続的になる。 損傷のないK-FACは、目標特異値の順序を保ちながら分解誘起の減速をキャンセルする一方、正の減衰は、GD位相法則が再び現れるスペクトル閾値を導入する。 これらの結果は、トレーニング中にモードがいつ出現し、持続し、消滅するかを決定する制御として、正規化、蓄積状態、減衰、深度を直接解釈する。

関連論文リスト

• ITSY: Causal Discovery From Irregular Time-Series Data [52.81244148804183]
  ITSYは線形モデルの下で不規則時系列から因果発見のための最初の連続最適化手法である。 重み付けされた再構成目標は、この再構成によって引き起こされる雑音変換を補正する。 結果は不規則線形一階力学の集中解を確立する。
  論文  参考訳（メタデータ） (2026-09-20T10:10:07Z)
• Principal-timestep Restricted Init via Sparse Matrix-decomposition in Flow-matching [17.26864820077326]
  微調整時の勾配アライメントを改善するSparse Matrix-decomposition フレームワークによるPrism-LoRAを提案する。 提案手法は,複数の拡散微調整ベンチマークにおける収束速度と最終性能を継続的に改善する。
  論文  参考訳（メタデータ） (2026-09-14T14:30:54Z)
• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation [3.881211374324378]
  勾配ベースの更新による生成成果物の検出に基礎モデルを適用することで、本質的な表現が損なわれる。 本稿では,二分分類から外分布(OOD)異常測定問題への検出を緩和する勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2026-06-03T13:04:23Z)
• Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking [0.0]
  暗記から小さなタスクでの一般化への移行が遅れたグロキングは、まだ理解されていない。 注意重みトラジェクトリのPCAは、トレーニングが低次元の実行部分空間内で主に進化することを明らかにする。 曲線は実行部分空間の方向に急激に成長するのに対して、軌道はそれに限定されていることが分かる。
  論文  参考訳（メタデータ） (2026-02-18T03:57:56Z)
• Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval [13.218607858857295]
  スペクトル勾配法は、スケールを捨てながら方向情報を保存することによって勾配の更新を変更する。 非線形位相探索モデルの動的解析により,これらの利得のメカニズムを解明する。
  論文  参考訳（メタデータ） (2026-01-30T07:12:58Z)
• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。