論文の概要: Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

• arxiv url: http://arxiv.org/abs/2610.29864v1
• Date: Wed, 21 Oct 2026 15:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.389966
• Title: Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective
• Title（参考訳）: 2層線形ネットワークにおけるサイレントアライメント:高次元的視点
• Abstract要約: 本研究では,入力次元,内次元および出力次元が比例する高次元状態下での2層線形ネットワークにおける勾配流について検討する。 ネットワークの特異な方向は順序1の時間スケールで一致し、特異な値と経験的損失は初期値のままである。 この位相は、高次元極限におけるスペクトル学習の連続過程となるサドル・アンド・サドル力学によって特徴づけられる。
• 参考スコア（独自算出の注目度）: 6.3440416106624555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study gradient flow in a two-layer linear network in the high-dimensional regime where the input, inner and output dimensions diverge proportionally. Under whitened inputs and isotropic imbalance, we combine a closed-form solution of the dynamics with prior random matrix theory results to derive a high-dimensional limit for the dynamics. Our method yields exact asymptotic spectral distributions for the weight matrices at all times and characterizes the evolution of the learned subspace. In the small-initialization limit, we identify a silent alignment phenomenon: the singular directions of the network align on an order-one timescale, while the singular values and empirical loss remain at their initial values. Visible learning occurs later, on a logarithmic timescale, as singular values progressively escape zero and the loss decreases. This phase is characterized by a saddle-to-saddle dynamics, which becomes a continuous process of spectral learning in the high-dimensional limit.
• Abstract（参考訳）: 本研究では,入力次元,内次元および出力次元が比例する高次元状態下での2層線形ネットワークにおける勾配流について検討する。 白色入力と等方的不均衡の下では、力学の閉形式解と事前のランダム行列理論を組み合わせ、力学の高次元極限を導出する。 本手法は, 常に重み行列に対して正確な漸近スペクトル分布を求め, 学習部分空間の進化を特徴付ける。 ネットワークの特異な方向は順序1の時間スケールに一致し、特異な値と経験的損失は初期値に留まる。 可視学習は後に対数的時間スケールで発生し、特異値は徐々にゼロから逃れ、損失は減少する。 この位相は、高次元極限におけるスペクトル学習の連続過程となるサドル・アンド・サドル力学によって特徴づけられる。

関連論文リスト

• Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry [52.75288960194919]
  最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。 対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
  論文  参考訳（メタデータ） (2026-09-09T22:35:31Z)
• The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System [42.117840303613164]
  安定性のエッジ、鋭さの振動、カタパルト相、バランス、フラットな表現への動きは、トレーニングマップ自体の効果である。 本稿では, 厳密解モデルの階層構造における離散力学系としての固定ステップ勾配勾配について検討する。
  論文  参考訳（メタデータ） (2026-07-06T12:28:24Z)
• When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks [22.81761236732655]
  線形対象関数に適合する1層ReLUネットワークの両層を協調的にトレーニングするための勾配勾配ダイナミクスについて検討した。 本分析では, 隠れ重みが植え付け方向と漸進的に一致し, 出力重みが正しい符号パターンを維持できるアライメントフェーズを3つのフェーズで追跡する。 我々は,全軌道に沿って保持される新しい一様濃度結果を確立し,次々に最適な試料の複雑性を得るのに不可欠である。
  論文  参考訳（メタデータ） (2026-06-03T05:44:30Z)
• Random Matrix Theory of Early-Stopped Gradient Flow: A Transient BBP Scenario [1.2744523252873352]
  孤立した固有値がノイズの多いバルクから切り離された後に学習が始まり、オーバーフィッティング体制で消えることを示す。 対応する位相図を写像し、有限サイズのシミュレーションに対して理論を検証する。
  論文  参考訳（メタデータ） (2026-04-20T16:05:58Z)
• Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks [3.198538967655537]
  2層ニューラルネットワークの1パス勾配勾配勾配ダイナミクスを教師の枠組みで解析する。 本研究では,学生の進化を規定する低次元常微分方程式について考察する。
  論文  参考訳（メタデータ） (2026-04-03T14:47:24Z)
• The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold [5.076419064097734]
  暗記後の学習は、制約付き最適化のレンズを通して理解することができると論じる。 勾配降下は、零損失多様体上の重みノルムを効果的に最小化することを示す。 実験により,予測勾配を用いた学習過程のシミュレーションは,グルーキングの遅延一般化と表現学習特性の両方を再現することを確認した。
  論文  参考訳（メタデータ） (2025-11-02T18:44:42Z)
• Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis [97.54180451650122]
  本研究では,2つの単語の共起を認識するタスクにおいて,浅層変圧器を訓練するダイナミクスについて検討する。 我々は3つの注意行列と線形層を同時に学習する勾配流れのダイナミクスを解析した。 本研究では, 傾斜流の新たな特性として, 勾配のテクトリアルバランスを証明し, 異なる試料の損失値をほぼ同じ速度で減少させ, さらに, ほぼ最小限のトレーニング損失の証明を容易にする。
  論文  参考訳（メタデータ） (2024-10-12T17:50:58Z)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
  マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。 我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
  論文  参考訳（メタデータ） (2024-02-29T18:43:52Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width [99.24399270311069]
  より広いネットワークにおいて、降下最適化による損失を最小限に抑え、トレーニングの開始時と終了時に正の曲率の表面を貫き、その間の曲率をほぼゼロにすることを観察する。 言い換えれば、トレーニングプロセスの重要な部分において、広いネットワークにおけるヘッセンはG成分によって支配されているようである。
  論文  参考訳（メタデータ） (2020-01-14T16:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。