論文の概要: The generator gradient estimator is an adjoint state method for stochastic differential equations
- arxiv url: http://arxiv.org/abs/2407.20196v1
- Date: Mon, 29 Jul 2024 17:21:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 12:45:22.732814
- Title: The generator gradient estimator is an adjoint state method for stochastic differential equations
- Title（参考訳）: 生成勾配推定器は確率微分方程式の随伴状態法である
- Authors: Quentin Badolle, Ankit Gupta, Mustafa Khammash,
- Abstract要約: 生成器勾配推定器は実際には随伴状態法であり,パラメータ数ではなく,状態数でスケールすることが知られている。
本稿では、この推定器が実際に随伴状態法であり、パラメータの数ではなく、状態数とスケールすることが知られているアプローチであることを実証する。
- 参考スコア（独自算出の注目度）: 2.644144307330104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the increasing popularity of overparameterized Stochastic Differential Equations (SDEs) like Neural SDEs, Wang, Blanchet and Glynn recently introduced the generator gradient estimator, a novel unbiased stochastic gradient estimator for SDEs whose computation time remains stable in the number of parameters. In this note, we demonstrate that this estimator is in fact an adjoint state method, an approach which is known to scale with the number of states and not the number of parameters in the case of Ordinary Differential Equations (ODEs). In addition, we show that the generator gradient estimator is a close analogue to the exact Integral Path Algorithm (eIPA) estimator which was introduced by Gupta, Rathinam and Khammash for a class of Continuous-Time Markov Chains (CTMCs) known as stochastic chemical reactions networks (CRNs).
- Abstract（参考訳）: ニューラルSDE, Wang, Blanchet, Glynn などの過パラメータ化確率微分方程式 (SDEs) の人気が高まっている。
本稿では、この推定器が、通常微分方程式(ODE)の場合のパラメータ数ではなく、状態数とスケールすることが知られているアプローチである、実際に随伴状態法であることを実証する。
さらに, ジェネレータ勾配推定器は, 確率化学反応ネットワーク (CRN) として知られる連続時間マルコフ連鎖 (CTMC) のクラスに対して, Gupta, Rathinam, Khammash が導入した正確な積分経路アルゴリズム (eIPA) 推定器の類似性を示す。
関連論文リスト
- Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。
鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文 参考訳（メタデータ） (2023-05-24T20:43:47Z) - Rigorous dynamical mean field theory for stochastic gradient descent
methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。
これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文 参考訳（メタデータ） (2022-10-12T21:10:55Z) - Online Multi-Agent Decentralized Byzantine-robust Gradient Estimation [62.997667081978825]
本アルゴリズムは,同時摂動,セキュアな状態推定,2時間スケール近似に基づく。
また,数値実験によるアルゴリズムの性能も示す。
論文 参考訳（メタデータ） (2022-09-30T07:29:49Z) - Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations [7.65995376636176]
定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。
線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
論文 参考訳（メタデータ） (2022-02-14T11:45:22Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。
本稿では,完全勾配の必要性を除去する。
集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文 参考訳（メタデータ） (2021-11-26T06:00:44Z) - Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of
Continuous-Time State-Space Models [0.0]
連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。
私たちのゴールは、ログライクリフの勾配(スコア関数)の偏りのない推定値を得ることです。
論文 参考訳（メタデータ） (2021-05-24T20:31:48Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Generalized Gumbel-Softmax Gradient Estimator for Various Discrete
Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。
本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文 参考訳（メタデータ） (2020-03-04T01:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。