論文の概要: Analysis of Stochastic Gradient Descent in Continuous Time
- arxiv url: http://arxiv.org/abs/2004.07177v3
- Date: Sun, 10 Jan 2021 14:07:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 04:30:48.854537
- Title: Analysis of Stochastic Gradient Descent in Continuous Time
- Title(参考訳): 連続時間における確率的勾配降下の解析
- Authors: Jonas Latz
- Abstract要約: 勾配降下の連続時間表現として勾配過程を導入する。
学習速度が0に近づくと,勾配流に弱収束することを示す。
この場合、過程は、全対象関数の大域的最小に集中する点質量に弱収束する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic gradient descent is an optimisation method that combines classical
gradient descent with random subsampling within the target functional. In this
work, we introduce the stochastic gradient process as a continuous-time
representation of stochastic gradient descent. The stochastic gradient process
is a dynamical system that is coupled with a continuous-time Markov process
living on a finite state space. The dynamical system -- a gradient flow --
represents the gradient descent part, the process on the finite state space
represents the random subsampling. Processes of this type are, for instance,
used to model clonal populations in fluctuating environments. After introducing
it, we study theoretical properties of the stochastic gradient process: We show
that it converges weakly to the gradient flow with respect to the full target
function, as the learning rate approaches zero. We give conditions under which
the stochastic gradient process with constant learning rate is exponentially
ergodic in the Wasserstein sense. Then we study the case, where the learning
rate goes to zero sufficiently slowly and the single target functions are
strongly convex. In this case, the process converges weakly to the point mass
concentrated in the global minimum of the full target function; indicating
consistency of the method. We conclude after a discussion of discretisation
strategies for the stochastic gradient process and numerical experiments.
- Abstract(参考訳): 確率勾配降下は、古典的な勾配降下とターゲット関数内のランダムな部分サンプリングを組み合わせた最適化手法である。
本研究では,確率勾配降下の連続時間表現として確率勾配過程を導入する。
確率的勾配過程は、有限状態空間上に存在する連続時間マルコフ過程と結合した力学系である。
力学系 -- 勾配流 -- は勾配降下部分を表し、有限状態空間上の過程はランダムな部分サンプリングを表す。
このタイプのプロセスは、例えば変動する環境でクローン集団をモデル化するために使われる。
導入後、確率的勾配過程の理論的性質について検討し、学習速度がゼロに近づくにつれて、全対象関数に対して勾配流に弱く収束することを示した。
定常学習率の確率勾配過程がワッサーシュタインの意味で指数関数的にエルゴード的な条件を与える。
次に,学習率が十分にゆっくりで,単一の対象関数が強く凸である場合について検討する。
この場合、この過程は全対象関数の極大最小値に集中した点質量に弱く収束し、その方法の一貫性を示す。
確率勾配過程と数値実験における離散化戦略の議論の後に結論を下す。
関連論文リスト
- Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳(メタデータ) (2022-03-02T22:35:58Z) - A Continuous-time Stochastic Gradient Descent Method for Continuous Data [0.0]
本研究では,連続データを用いた最適化問題に対する勾配降下アルゴリズムの連続時間変種について検討する。
連続データ空間における複数のサンプリングパターンについて検討し、実行時にデータシミュレートやストリームを可能にする。
ノイズの多い関数データと物理インフォームドニューラルネットワークの回帰問題における勾配過程の適用性について考察する。
論文 参考訳(メタデータ) (2021-12-07T15:09:24Z) - A Two-Time-Scale Stochastic Optimization Framework with Applications in
Control and Reinforcement Learning [22.07834608976826]
本研究では, 時間変化勾配から試料が生成する問題を解くための2段階勾配法について検討した。
我々は$mathcal(k-2/3O)$の収束が達成されていることを示す。
論文 参考訳(メタデータ) (2021-09-29T23:15:23Z) - Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of
Continuous-Time State-Space Models [0.0]
連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。
私たちのゴールは、ログライクリフの勾配(スコア関数)の偏りのない推定値を得ることです。
論文 参考訳(メタデータ) (2021-05-24T20:31:48Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost
Functions [2.538209532048867]
勾配が収束する副生成物を示し、収束率に明示的な上限を与える。
これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
論文 参考訳(メタデータ) (2020-12-01T16:48:59Z) - Understanding and Detecting Convergence for Stochastic Gradient Descent
with Momentum [18.88380216480131]
本稿では,一定の学習率と運動量を有する勾配勾配について考察する。
連続勾配間の内積を用いた定常位相収束の統計的診断試験を構築した。
論文 参考訳(メタデータ) (2020-08-27T16:24:18Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。