論文の概要: Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations
- arxiv url: http://arxiv.org/abs/2202.06637v1
- Date: Mon, 14 Feb 2022 11:45:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 15:35:04.964976
- Title: Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations
- Title（参考訳）: 確率微分方程式の定常分布を最適化するための連続時間確率勾配降下
- Authors: Ziheng Wang and Justin Sirignano
- Abstract要約: 我々はポアソン方程式(SDE)モデルの定常分布を最適化する新しい連続時間勾配降下法を開発した。
このアルゴリズムは定常分布の勾配の推定値を用いてSDEモデルのパラメータを継続的に更新する。
線形SDEモデルに対するオンラインアルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
- 参考スコア（独自算出の注目度）: 1.116812194101501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a new continuous-time stochastic gradient descent method for
optimizing over the stationary distribution of stochastic differential equation
(SDE) models. The algorithm continuously updates the SDE model's parameters
using an estimate for the gradient of the stationary distribution. The gradient
estimate is simultaneously updated, asymptotically converging to the direction
of steepest descent. We rigorously prove convergence of our online algorithm
for linear SDE models and present numerical results for nonlinear examples. The
proof requires analysis of the fluctuations of the parameter evolution around
the direction of steepest descent. Bounds on the fluctuations are challenging
to obtain due to the online nature of the algorithm (e.g., the stationary
distribution will continuously change as the parameters change). We prove
bounds for the solutions of a new class of Poisson partial differential
equations, which are then used to analyze the parameter fluctuations in the
algorithm.
- Abstract（参考訳）: 確率微分方程式(sde)モデルの定常分布を最適化するための連続時間確率勾配降下法を開発した。
このアルゴリズムは定常分布の勾配の推定値を用いてSDEモデルのパラメータを継続的に更新する。
勾配推定は同時に更新され、漸近的に最も急降下する方向に収束する。
線形SDEモデルに対するオンラインアルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
この証明は、最も急降下する方向に関するパラメータ進化の変動を分析する必要がある。
ゆらぎに関する境界は、アルゴリズムのオンラインの性質のため取得が困難である(例えば、パラメータの変化に伴って定常分布が継続的に変化する)。
我々は、新しいポアソン偏微分方程式の解に対する境界を証明し、アルゴリズムのパラメータのゆらぎを分析するのに使用される。
関連論文リスト
- Variational Neural Stochastic Differential Equations with Change Points [4.692174333076032]
ニューラル微分方程式(ニューラルSDE)を用いた時系列データにおける変化点のモデル化について検討する。
本稿では,時系列をニューラルSDEとしてモデル化するための変分オートエンコーダ(VAE)フレームワークに基づく,新しいモデル定式化とトレーニング手法を提案する。
本稿では,従来のパラメトリックSDEと分散シフトを伴う実データセットの両方を効果的にモデル化できることを示す。
論文 参考訳（メタデータ） (2024-11-01T14:46:17Z) - Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳（メタデータ） (2023-12-13T02:39:10Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - A Forward Propagation Algorithm for Online Optimization of Nonlinear
Stochastic Differential Equations [1.116812194101501]
非線形散逸SDEに対する前方伝播アルゴリズムの収束性について検討する。
偏微分方程式(PDE)の解に、最も急降下方向のアルゴリズムのゆらぎの期待時間積分の限界を証明した。
本研究の主な成果は,非線形散逸SDEに対する前方伝播アルゴリズムの収束定理である。
論文 参考訳（メタデータ） (2022-07-10T16:06:42Z) - Scalable Inference in SDEs by Direct Matching of the
Fokker-Planck-Kolmogorov Equation [14.951655356042949]
Runge-Kuttaの変種のようなシミュレーションに基づく手法は、機械学習における微分方程式(SDE)による推論のデファクトアプローチである。
このワークフローが高速で、高次元の潜伏空間にスケールし、少ないデータアプリケーションに適用可能であることを示す。
論文 参考訳（メタデータ） (2021-10-29T12:22:55Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Identifying Latent Stochastic Differential Equations [29.103393300261587]
本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。
提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。
提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
論文 参考訳（メタデータ） (2020-07-12T19:46:31Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳（メタデータ） (2020-02-21T20:47:55Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。