論文の概要: Analysis of Stochastic Gradient Descent in Continuous Time

• arxiv url: http://arxiv.org/abs/2004.07177v3
• Date: Sun, 10 Jan 2021 14:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 04:30:48.854537
• Title: Analysis of Stochastic Gradient Descent in Continuous Time
• Title（参考訳）: 連続時間における確率的勾配降下の解析
• Authors: Jonas Latz
• Abstract要約: 勾配降下の連続時間表現として勾配過程を導入する。 学習速度が0に近づくと,勾配流に弱収束することを示す。 この場合、過程は、全対象関数の大域的最小に集中する点質量に弱収束する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent is an optimisation method that combines classical gradient descent with random subsampling within the target functional. In this work, we introduce the stochastic gradient process as a continuous-time representation of stochastic gradient descent. The stochastic gradient process is a dynamical system that is coupled with a continuous-time Markov process living on a finite state space. The dynamical system -- a gradient flow -- represents the gradient descent part, the process on the finite state space represents the random subsampling. Processes of this type are, for instance, used to model clonal populations in fluctuating environments. After introducing it, we study theoretical properties of the stochastic gradient process: We show that it converges weakly to the gradient flow with respect to the full target function, as the learning rate approaches zero. We give conditions under which the stochastic gradient process with constant learning rate is exponentially ergodic in the Wasserstein sense. Then we study the case, where the learning rate goes to zero sufficiently slowly and the single target functions are strongly convex. In this case, the process converges weakly to the point mass concentrated in the global minimum of the full target function; indicating consistency of the method. We conclude after a discussion of discretisation strategies for the stochastic gradient process and numerical experiments.
• Abstract（参考訳）: 確率勾配降下は、古典的な勾配降下とターゲット関数内のランダムな部分サンプリングを組み合わせた最適化手法である。 本研究では,確率勾配降下の連続時間表現として確率勾配過程を導入する。 確率的勾配過程は、有限状態空間上に存在する連続時間マルコフ過程と結合した力学系である。 力学系 -- 勾配流 -- は勾配降下部分を表し、有限状態空間上の過程はランダムな部分サンプリングを表す。 このタイプのプロセスは、例えば変動する環境でクローン集団をモデル化するために使われる。 導入後、確率的勾配過程の理論的性質について検討し、学習速度がゼロに近づくにつれて、全対象関数に対して勾配流に弱く収束することを示した。 定常学習率の確率勾配過程がワッサーシュタインの意味で指数関数的にエルゴード的な条件を与える。 次に,学習率が十分にゆっくりで,単一の対象関数が強く凸である場合について検討する。 この場合、この過程は全対象関数の極大最小値に集中した点質量に弱く収束し、その方法の一貫性を示す。 確率勾配過程と数値実験における離散化戦略の議論の後に結論を下す。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• A Continuous-time Stochastic Gradient Descent Method for Continuous Data [0.0]
  本研究では,連続データを用いた最適化問題に対する勾配降下アルゴリズムの連続時間変種について検討する。 連続データ空間における複数のサンプリングパターンについて検討し、実行時にデータシミュレートやストリームを可能にする。 ノイズの多い関数データと物理インフォームドニューラルネットワークの回帰問題における勾配過程の適用性について考察する。
  論文  参考訳（メタデータ） (2021-12-07T15:09:24Z)
• Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of Continuous-Time State-Space Models [0.0]
  連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。 私たちのゴールは、ログライクリフの勾配(スコア関数)の偏りのない推定値を得ることです。
  論文  参考訳（メタデータ） (2021-05-24T20:31:48Z)
• Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost Functions [2.538209532048867]
  勾配が収束する副生成物を示し、収束率に明示的な上限を与える。 これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
  論文  参考訳（メタデータ） (2020-12-01T16:48:59Z)
• Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum [18.88380216480131]
  本稿では,一定の学習率と運動量を有する勾配勾配について考察する。 連続勾配間の内積を用いた定常位相収束の統計的診断試験を構築した。
  論文  参考訳（メタデータ） (2020-08-27T16:24:18Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。