論文の概要: Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2302.07125v1
• Date: Tue, 14 Feb 2023 15:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 15:06:32.248724
• Title: Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent
• Title（参考訳）: 確率的変形流、平均場限界、確率的勾配降下のダイナミクス
• Authors: Benjamin Gess, Sebastian Kassing, Vitalii Konarovskyi
• Abstract要約: そこで我々は,修正フローと呼ばれる小学習率体系における勾配降下に対する新しい制限ダイナミクスを提案する。 これらのSDEは円筒状ブラウン運動によって駆動され、正規拡散係数を持ち、多点統計値に一致することによって、いわゆる修正方程式を改善する。
• 参考スコア（独自算出の注目度）: 1.2031796234206138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose new limiting dynamics for stochastic gradient descent in the small learning rate regime called stochastic modified flows. These SDEs are driven by a cylindrical Brownian motion and improve the so-called stochastic modified equations by having regular diffusion coefficients and by matching the multi-point statistics. As a second contribution, we introduce distribution dependent stochastic modified flows which we prove to describe the fluctuating limiting dynamics of stochastic gradient descent in the small learning rate - infinite width scaling regime.
• Abstract（参考訳）: 確率的修正フローと呼ばれる小規模学習率モデルにおいて,確率的勾配降下のための新しい制限ダイナミクスを提案する。 これらのSDEは円筒状ブラウン運動によって駆動され、正規拡散係数を持ち、多点統計と一致することによっていわゆる確率修正方程式を改善する。 第2の貢献として,小規模学習率不定幅スケーリング方式において,確率勾配降下の変動制限ダイナミクスを記述するために,分布依存確率修正フローを導入する。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features [8.645858565518155]
  純勾配の試験リスク曲線と勾配流の差を計算する式を提供する。 我々は、動的に加えた項によって引き起こされる補正を明示的に計算する。 解析結果は離散時間勾配降下のシミュレーションと比較し,良好な一致を示した。
  論文  参考訳（メタデータ） (2024-02-12T13:11:11Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reservoir Computing with Error Correction: Long-term Behaviors of Stochastic Dynamical Systems [5.815325960286111]
  本稿では,Reservoir Computingと正規化フローを組み合わせたデータ駆動型フレームワークを提案する。 提案手法の有効性をVan der Pal, El Nino-Southern Oscillation Simple model, Lorenz system などいくつかの実験で検証した。
  論文  参考訳（メタデータ） (2023-05-01T05:50:17Z)
• Continuous-time stochastic gradient descent for optimizing over the stationary distribution of stochastic differential equations [7.65995376636176]
  定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。 線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T11:45:22Z)
• Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent [3.0079490585515343]
  勾配降下(SGD)は、消滅する学習率体制において比較的よく理解されている。 SGDとその変異体の基本特性を非退化学習率体系で研究することを提案する。
  論文  参考訳（メタデータ） (2020-12-07T12:31:43Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。