論文の概要: Gradient Flow Equations for Deep Linear Neural Networks: A Survey from a Network Perspective

• arxiv url: http://arxiv.org/abs/2511.10362v1
• Date: Fri, 14 Nov 2025 01:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.826797
• Title: Gradient Flow Equations for Deep Linear Neural Networks: A Survey from a Network Perspective
• Title（参考訳）: ディープリニアニューラルネットワークの勾配流方程式:ネットワークの観点からのサーベイ
• Authors: Joel Wendin, Claudio Altafini,
• Abstract要約: 本論文は, 深い線形ニューラルネットワークに付随する勾配流方程式の動的および損失景観の理解における最近の進歩について調査する。 ロスランドスケープは、無限に多くの大域的ミニマ点とサドル点によって特徴づけられる。 論文で使用した隣接行列表現は、商空間構造の存在を強調することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The paper surveys recent progresses in understanding the dynamics and loss landscape of the gradient flow equations associated to deep linear neural networks, i.e., the gradient descent training dynamics (in the limit when the step size goes to 0) of deep neural networks missing the activation functions and subject to quadratic loss functions. When formulated in terms of the adjacency matrix of the neural network, as we do in the paper, these gradient flow equations form a class of converging matrix ODEs which is nilpotent, polynomial, isospectral, and with conservation laws. The loss landscape is described in detail. It is characterized by infinitely many global minima and saddle points, both strict and nonstrict, but lacks local minima and maxima. The loss function itself is a positive semidefinite Lyapunov function for the gradient flow, and its level sets are unbounded invariant sets of critical points, with critical values that correspond to the amount of singular values of the input-output data learnt by the gradient along a certain trajectory. The adjacency matrix representation we use in the paper allows to highlight the existence of a quotient space structure in which each critical value of the loss function is represented only once, while all other critical points with the same critical value belong to the fiber associated to the quotient space. It also allows to easily determine stable and unstable submanifolds at the saddle points, even when the Hessian fails to obtain them.
• Abstract（参考訳）: 本研究は, 深部線形ニューラルネットワークに付随する勾配流方程式の動的・ロスランドスケープの理解の最近の進歩, すなわち, 活性化関数を欠いた深部ニューラルネットワークの勾配勾配降下訓練ダイナミックス(ステップサイズが0に制限された場合)について調査する。 ニューラルネットワークの隣接行列の項で定式化されると、これらの勾配流方程式は、零度、多項式、等スペクトル、および保存則を持つ収束行列ODEのクラスを形成する。 失われた風景は詳しく述べられている。 無限に多くの大域小数点とサドル点が特徴で、厳密かつ非制限であるが、局所小数点と最大値が欠落している。 損失関数自身は勾配流に対する正の半有限リアプノフ関数であり、そのレベル集合は臨界点の非有界不変集合であり、ある軌道に沿って勾配によって学習された入力出力データの特異値の量に対応する臨界値である。 論文で使用した隣接行列表現は、損失関数の各臨界値が1回だけ表現される商空間構造の存在を強調し、同じ臨界値を持つ他の臨界点は、商空間に関連付けられたファイバーに属する。 また、ヘッセン群がそれらを得ることができない場合でも、サドル点における安定で不安定な部分多様体を容易に決定することができる。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Gradient descent provably escapes saddle points in the training of shallow ReLU networks [6.458742319938318]
  我々は、関連する力学系の結果の変種、中心安定な多様体定理を証明し、そこでは正規性要求のいくつかを緩和する。 浅部ReLUおよび漏洩ReLUネットワークに対する正方積分損失関数の臨界点の詳細な検討に基づいて、勾配降下がほとんどのサドル点を下降させることを示す。
  論文  参考訳（メタデータ） (2022-08-03T14:08:52Z)
• Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
  一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。 トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:50:28Z)
• Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear Classification [3.158346511479111]
  特定の単調性を持つSTEのクラスを提案し、量子化されたアクティベーション関数を持つ2層ネットワークのトレーニングへの応用について検討する。 提案したSTEに対して,対応する粗度勾配法が大域最小値に収束することを示し,性能保証を確立する。
  論文  参考訳（メタデータ） (2020-11-23T07:50:09Z)
• Ill-Posedness and Optimization Geometry for Nonlinear Neural Network Training [4.7210697296108926]
  ネットワーク構築における非線形活性化関数は、損失景観の定常点の分類において重要な役割を担っていることを示す。 浅密度ネットワークの場合、非線形活性化関数は大域ミニマ近傍のヘッセンヌル空間を決定する。 これらの結果を高密度ニューラルネットワークに拡張することにより、最終活性化関数が定常点の分類において重要な役割を果たすことを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。