論文の概要: Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes

• arxiv url: http://arxiv.org/abs/2501.08425v1
• Date: Tue, 14 Jan 2025 20:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:20.553512
• Title: Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes
• Title（参考訳）: 確率勾配の老化は有効か? 機械学習プロセスのPDE的視点
• Authors: Davide Barbieri, Matteo Bonforte, Peio Ibarrondo,
• Abstract要約: 我々は、教師あり学習において広く使われている勾配降下法(SGD)を解析する。 双対性法はエントロピーとダイナミックスという2つの異なる方法を利用する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper we analyze the behaviour of the stochastic gradient descent (SGD), a widely used method in supervised learning for optimizing neural network weights via a minimization of non-convex loss functions. Since the pioneering work of E, Li and Tai (2017), the underlying structure of such processes can be understood via parabolic PDEs of Fokker-Planck type, which are at the core of our analysis. Even if Fokker-Planck equations have a long history and a extensive literature, almost nothing is known when the potential is non-convex or when the diffusion matrix is degenerate, and this is the main difficulty that we face in our analysis. We identify two different regimes: in the initial phase of SGD, the loss function drives the weights to concentrate around the nearest local minimum. We refer to this phase as the drift regime and we provide quantitative estimates on this concentration phenomenon. Next, we introduce the diffusion regime, where stochastic fluctuations help the learning process to escape suboptimal local minima. We analyze the Mean Exit Time (MET) and prove upper and lower bounds of the MET. Finally, we address the asymptotic convergence of SGD, for a non-convex cost function and a degenerate diffusion matrix, that do not allow to use the standard approaches, and require new techniques. For this purpose, we exploit two different methods: duality and entropy methods. We provide new results about the dynamics and effectiveness of SGD, offering a deep connection between stochastic optimization and PDE theory, and some answers and insights to basic questions in the Machine Learning processes: How long does SGD take to escape from a bad minimum? Do neural network parameters converge using SGD? How do parameters evolve in the first stage of training with SGD?
• Abstract（参考訳）: 本稿では,非凸損失関数の最小化により,ニューラルネットワークの重み付けを最適化するための教師あり学習法である確率勾配降下(SGD)の挙動を解析する。 E, Li, Tai (2017) の先駆的な研究以来、これらのプロセスの基盤となる構造はフォッカー・プランク型の放物的PDEを通して理解することができる。 フォッカー・プランク方程式が長い歴史と広範な文献を持っているとしても、ポテンシャルが非凸であるときや拡散行列が退化しているときはほとんど知られていない。 SGDの初期段階では、損失関数は重みを最も近い局所的な最小値に集中させる。 我々はこの位相を漂流状態と呼び、この濃度現象を定量的に推定する。 次に,確率的ゆらぎが学習過程の至適局所性ミニマから逃れるのに役立つ拡散体制を導入する。 我々は平均排他時間(MET)を分析し,METの上下境界を証明した。 最後に、非凸コスト関数と縮退拡散行列に対して、SGDの漸近収束に対処する。 この目的のために、双対法とエントロピー法という2つの異なる方法を利用する。 SGDの動的性と有効性に関する新たな結果を提供し、確率最適化とPDE理論の深い関係と、機械学習プロセスにおける基本的な問題に対するいくつかの回答と洞察を提供する。 ニューラルネットワークパラメータはSGDを用いて収束するか? SGDによるトレーニングの最初の段階で、パラメータはどのように進化するのか?

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization [10.660480034605241]
  ディープニューラルネットワークのような非トレーニングモデルのために、機械学習コミュニティ内で広く使用されている。 本研究では、SGDSPA(SGDSPA)形式のSGD等価な書き直しを利用して、運動量を持つSGDのリアプノフ解析を開発する。
  論文  参考訳（メタデータ） (2020-10-01T13:46:32Z)
• Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise [39.9241638707715]
  FULDは, 深層学習における役割において, 自然的, エレガントな手法と類似性があることが示唆された。
  論文  参考訳（メタデータ） (2020-02-13T18:04:27Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。