論文の概要: The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System
- arxiv url: http://arxiv.org/abs/2607.04993v1
- Date: Mon, 06 Jul 2026 12:28:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.149277
- Title: The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System
- Title（参考訳）: 流れの背後にある地図:力学系としての有限ステップ勾配線
- Abstract要約: 安定性のエッジ、鋭さの振動、カタパルト相、バランス、フラットな表現への動きは、トレーニングマップ自体の効果である。
本稿では, 厳密解モデルの階層構造における離散力学系としての固定ステップ勾配勾配について検討する。
- 参考スコア（独自算出の注目度）: 42.117840303613164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many phenomena of deep learning are dynamical: they concern not only which minima exist, but how gradient descent reaches, avoids, or selects among them. Edge-of-stability behavior, sharpness oscillations, catapult phases, balancing, and movement toward flatter representations are effects of the training map itself, and are poorly captured by the small-step gradient-flow limit. This paper studies fixed-step gradient descent as a discrete dynamical system in a hierarchy of exactly solvable models retaining basic structures of deep learning: depth, factorization, width, data coupling, activation, and stochasticity. The starting point is the balanced scalar reduction of a deep linear chain, giving a quartic loss and a cubic gradient map whose post-edge behavior is explicit. Under the natural large-depth scaling, this dynamics converges to a universal Ricker-type map. The edge of stability is therefore not a breakdown of optimization, but the first bifurcation of the training map. Embedding the scalar dynamics back into factored models turns these regimes into learning phenomena. Finite steps break conservation laws of gradient flow and contract factorization imbalance; residual oscillations move parameters toward flatter, more balanced representations. Wider linear networks produce a ladder of spectral edges, so the optimal learning rate can lie beyond the first edge. Data coupling, nonlinear activations, and stochastic targets preserve the same organizing principle: finite-step oscillations drive alignment, balancing, and representation selection. Thus the learning rate is not merely a numerical stability parameter. It is a structural parameter of the training dynamics, determining its attractors and shaping the representations gradient descent selects.
- Abstract（参考訳）: 深層学習の多くの現象は力学的であり、どのミニマが存在するかだけでなく、勾配降下の到達、回避、選択の仕方についても懸念している。
エッジ・オブ・安定性,シャープネスの発振,カタパルト相,バランス,フラットな表現への移動は,トレーニングマップ自体の影響であり,小さな段階の勾配-流れの限界によって捕捉されにくい。
本稿では,深度,因子化,幅,データ結合,アクティベーション,確率といった深層学習の基本構造を保持する,正確に解けるモデルの階層構造における離散力学系としての固定ステップ勾配勾配について検討する。
出発点は、深い線形鎖のバランスの取れたスカラー還元であり、クォート損失と後縁挙動が明示的な立方勾配写像を与える。
自然な大深度スケーリングの下で、この力学は普遍リッカー型写像に収束する。
したがって、安定性の端は最適化の分解ではなく、トレーニングマップの最初の分岐である。
スカラー力学を因子モデルに組み込むと、これらの状態が学習現象となる。
有限ステップは勾配流と契約因子化の不均衡の保存則を破り、残留振動はパラメータをより平坦でバランスの取れた表現へと移動させる。
より広い線形ネットワークはスペクトルエッジのラグを生成するため、最適学習率は第1エッジを超えることができる。
データ結合、非線形アクティベーション、確率的ターゲットは、有限ステップ振動がアライメント、バランス、表現選択を駆動するという同じ組織原理を保っている。
したがって、学習速度は単なる数値安定性パラメータではない。
トレーニングダイナミクスの構造パラメータであり、アトラクタを決定し、勾配降下の表現を形作る。
関連論文リスト
- Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry [52.75288960194919]
最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。
対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
論文 参考訳（メタデータ） (2026-09-09T22:35:31Z) - Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability [11.598128347617957]
安定の端における勾配降下ダイナミクス(EoS)のトラクタブルで忠実で予測的なモデルを提案する。
We show that Edge Flow track the dynamics of gradient descent least to faithfully as previously proposed continuous-time EoS model。
論文 参考訳（メタデータ） (2026-06-16T15:45:47Z) - When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks [22.81761236732655]
線形対象関数に適合する1層ReLUネットワークの両層を協調的にトレーニングするための勾配勾配ダイナミクスについて検討した。
本分析では, 隠れ重みが植え付け方向と漸進的に一致し, 出力重みが正しい符号パターンを維持できるアライメントフェーズを3つのフェーズで追跡する。
我々は,全軌道に沿って保持される新しい一様濃度結果を確立し,次々に最適な試料の複雑性を得るのに不可欠である。
論文 参考訳（メタデータ） (2026-06-03T05:44:30Z) - Natural gradient descent with momentum [0.0]
ヘビーボールやネステロフのような古典的慣性力学手法の自然なバージョンを導入する。
この研究は、非線形モデルクラスを扱う際に学習プロセスを改善する方法を示している。
論文 参考訳（メタデータ） (2026-04-16T22:09:39Z) - Gradient Flow Equations for Deep Linear Neural Networks: A Survey from a Network Perspective [0.0]
本論文は, 深い線形ニューラルネットワークに付随する勾配流方程式の動的および損失景観の理解における最近の進歩について調査する。
ロスランドスケープは、無限に多くの大域的ミニマ点とサドル点によって特徴づけられる。
論文で使用した隣接行列表現は、商空間構造の存在を強調することができる。
論文 参考訳（メタデータ） (2025-11-13T14:39:32Z) - Unlearning-based Neural Interpretations [51.99182464831169]
静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。
UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
論文 参考訳（メタデータ） (2024-10-10T16:02:39Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳（メタデータ） (2024-02-20T16:01:42Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Gradient flow dynamics of shallow ReLU networks for square loss and
orthogonal inputs [19.401271427657395]
勾配降下法によるニューラルネットワークの訓練は、ディープラーニング革命の基盤となっている。
本稿では,1つのニューラルネットワークの小さな初期化における平均二乗誤差に対する勾配流のダイナミクスについて述べる。
論文 参考訳（メタデータ） (2022-06-02T09:01:25Z) - On Training Implicit Models [75.20173180996501]
ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。
大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
論文 参考訳（メタデータ） (2021-11-09T14:40:24Z) - Implicit Bias in Deep Linear Classification: Initialization Scale vs
Training Accuracy [71.25689267025244]
移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。
以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
論文 参考訳（メタデータ） (2020-07-13T23:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。