論文の概要: Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations
- arxiv url: http://arxiv.org/abs/2202.06637v2
- Date: Sat, 26 Aug 2023 23:36:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 02:17:06.397648
- Title: Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations
- Title（参考訳）: 確率微分方程式の定常分布を最適化するための連続時間確率勾配降下
- Authors: Ziheng Wang and Justin Sirignano
- Abstract要約: 定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。
線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
- 参考スコア（独自算出の注目度）: 7.65995376636176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a new continuous-time stochastic gradient descent method for
optimizing over the stationary distribution of stochastic differential equation
(SDE) models. The algorithm continuously updates the SDE model's parameters
using an estimate for the gradient of the stationary distribution. The gradient
estimate is simultaneously updated using forward propagation of the SDE state
derivatives, asymptotically converging to the direction of steepest descent. We
rigorously prove convergence of the online forward propagation algorithm for
linear SDE models (i.e., the multi-dimensional Ornstein-Uhlenbeck process) and
present its numerical results for nonlinear examples. The proof requires
analysis of the fluctuations of the parameter evolution around the direction of
steepest descent. Bounds on the fluctuations are challenging to obtain due to
the online nature of the algorithm (e.g., the stationary distribution will
continuously change as the parameters change). We prove bounds for the
solutions of a new class of Poisson partial differential equations (PDEs),
which are then used to analyze the parameter fluctuations in the algorithm. Our
algorithm is applicable to a range of mathematical finance applications
involving statistical calibration of SDE models and stochastic optimal control
for long time horizons where ergodicity of the data and stochastic process is a
suitable modeling framework. Numerical examples explore these potential
applications, including learning a neural network control for high-dimensional
optimal control of SDEs and training stochastic point process models of limit
order book events.
- Abstract（参考訳）: 確率微分方程式(sde)モデルの定常分布を最適化するための連続時間確率勾配降下法を開発した。
このアルゴリズムは定常分布の勾配の推定値を用いてSDEモデルのパラメータを継続的に更新する。
勾配推定はSDE状態導体の前方伝播を用いて同時に更新され、漸近的に最も急降下する方向に収束する。
線形SDEモデル(多次元Ornstein-Uhlenbeckプロセス)に対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
この証明は、最も急降下する方向に関するパラメータ進化の変動を分析する必要がある。
ゆらぎに関する境界は、アルゴリズムのオンラインの性質のため取得が困難である(例えば、パラメータの変化に伴って定常分布が継続的に変化する)。
ポアソン偏微分方程式 (poisson partial differential equation, pdes) の解の境界を証明し、アルゴリズムのパラメータ変動の解析に用いる。
我々のアルゴリズムは、SDEモデルの統計的校正と、データと確率過程のエルゴード性が適切なモデリングフレームワークである長期水平地平線に対する確率的最適制御を含む様々な数学的ファイナンス応用に適用できる。
例えば、SDEの高次元最適制御のためのニューラルネットワーク制御の学習や、リミテッドオーダーブックイベントの確率的ポイントプロセスモデルのトレーニングなどである。
関連論文リスト
- Variational Neural Stochastic Differential Equations with Change Points [4.692174333076032]
ニューラル微分方程式(ニューラルSDE)を用いた時系列データにおける変化点のモデル化について検討する。
本稿では,時系列をニューラルSDEとしてモデル化するための変分オートエンコーダ(VAE)フレームワークに基づく,新しいモデル定式化とトレーニング手法を提案する。
本稿では,従来のパラメトリックSDEと分散シフトを伴う実データセットの両方を効果的にモデル化できることを示す。
論文 参考訳（メタデータ） (2024-11-01T14:46:17Z) - Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳（メタデータ） (2023-12-13T02:39:10Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - A Forward Propagation Algorithm for Online Optimization of Nonlinear
Stochastic Differential Equations [1.116812194101501]
非線形散逸SDEに対する前方伝播アルゴリズムの収束性について検討する。
偏微分方程式(PDE)の解に、最も急降下方向のアルゴリズムのゆらぎの期待時間積分の限界を証明した。
本研究の主な成果は,非線形散逸SDEに対する前方伝播アルゴリズムの収束定理である。
論文 参考訳（メタデータ） (2022-07-10T16:06:42Z) - Scalable Inference in SDEs by Direct Matching of the
Fokker-Planck-Kolmogorov Equation [14.951655356042949]
Runge-Kuttaの変種のようなシミュレーションに基づく手法は、機械学習における微分方程式(SDE)による推論のデファクトアプローチである。
このワークフローが高速で、高次元の潜伏空間にスケールし、少ないデータアプリケーションに適用可能であることを示す。
論文 参考訳（メタデータ） (2021-10-29T12:22:55Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Identifying Latent Stochastic Differential Equations [29.103393300261587]
本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。
提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。
提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
論文 参考訳（メタデータ） (2020-07-12T19:46:31Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳（メタデータ） (2020-02-21T20:47:55Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。