論文の概要: Amortized Reparametrization: Efficient and Scalable Variational
Inference for Latent SDEs
- arxiv url: http://arxiv.org/abs/2312.10550v1
- Date: Sat, 16 Dec 2023 22:27:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:53:32.493696
- Title: Amortized Reparametrization: Efficient and Scalable Variational
Inference for Latent SDEs
- Title（参考訳）: Amortized Reparametrization:潜在SDEの効率的かつスケーラブルな変分推論
- Authors: Kevin Course, Prasanth B. Nair
- Abstract要約: 本稿では,データ量,時系列の総長さ,近似微分方程式の剛性と独立にスケールする時間とメモリコストで潜在微分方程式を推定する問題を考察する。
これは、メモリコストが一定であるにもかかわらず、近似微分方程式の剛性に大きく依存する時間複雑性を持つ遅延微分方程式を推論する典型的な方法とは対照的である。
- 参考スコア（独自算出の注目度）: 3.2634122554914002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of inferring latent stochastic differential equations
(SDEs) with a time and memory cost that scales independently with the amount of
data, the total length of the time series, and the stiffness of the approximate
differential equations. This is in stark contrast to typical methods for
inferring latent differential equations which, despite their constant memory
cost, have a time complexity that is heavily dependent on the stiffness of the
approximate differential equation. We achieve this computational advancement by
removing the need to solve differential equations when approximating gradients
using a novel amortization strategy coupled with a recently derived
reparametrization of expectations under linear SDEs. We show that, in practice,
this allows us to achieve similar performance to methods based on adjoint
sensitivities with more than an order of magnitude fewer evaluations of the
model in training.
- Abstract（参考訳）: 本稿では,データ量,時系列の総長,近似微分方程式の剛性と独立にスケールする時間とメモリコストを,潜在確率微分方程式(SDE)を推定する問題を考察する。
これは、一定のメモリコストにもかかわらず近似微分方程式の剛性に大きく依存する時間複雑性を持つ潜在微分方程式を推定する典型的な方法とは全く対照的である。
線形sdes下での期待値の再パラメータ化とともに,新しい償却戦略を用いて勾配を近似する場合に微分方程式を解く必要をなくし,この計算の進歩を実現する。
実際に、この手法は、学習におけるモデルの評価を桁違いに減らして、随伴感性に基づく手法に類似した性能を実現することができることを示す。
関連論文リスト
- On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - From continuous-time formulations to discretization schemes: tensor
trains and robust regression for BSDEs and parabolic PDEs [3.785123406103385]
テンソルトレインは放物型PDEの魅力ある枠組みであると主張する。
計算効率と頑健性の点で異なる反復型スキームを開発する。
本手法が精度と計算効率のトレードオフを良好に達成できることを理論的および数値的に実証する。
論文 参考訳（メタデータ） (2023-07-28T11:44:06Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。
鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文 参考訳（メタデータ） (2023-05-24T20:43:47Z) - Self-Consistent Velocity Matching of Probability Flows [22.2542921090435]
偏微分方程式(PDE)のクラスを解くための離散化のないスケーラブルなフレームワークを提案する。
主な観察は、PDE溶液の時間変化速度場は自己整合性が必要であることである。
実験性能の強い計算障害を回避できるバイアス勾配推定器を用いた反復的定式化を用いる。
論文 参考訳（メタデータ） (2023-01-31T16:17:18Z) - Robust SDE-Based Variational Formulations for Solving Linear PDEs via
Deep Learning [6.1678491628787455]
モンテカルロ法とディープラーニングを組み合わせることで、高次元の偏微分方程式(PDE)を解くアルゴリズムが効率的になった。
関連する学習問題は、しばしば関連する微分方程式(SDE)に基づく変分定式化として記述される。
したがって、収束を正確にかつ迅速に到達するためには、低分散を示す適切な勾配推定器に頼ることが重要である。
論文 参考訳（メタデータ） (2022-06-21T17:59:39Z) - D-CIPHER: Discovery of Closed-form Partial Differential Equations [80.46395274587098]
D-CIPHERは人工物の測定に頑健であり、微分方程式の新しい、非常に一般的なクラスを発見できる。
さらに,D-CIPHERを効率的に探索するための新しい最適化手法であるCoLLieを設計する。
論文 参考訳（メタデータ） (2022-06-21T17:59:20Z) - Robust and Scalable SDE Learning: A Functional Perspective [5.642000444047032]
本稿では,SDE推定器の観測確率を学習目的で重要サンプリングする手法を提案する。
提案手法は,SDEに基づくアルゴリズムと比較して低分散推定を行う。
これにより、大規模並列ハードウェアを大幅な時間短縮に有効利用することができる。
論文 参考訳（メタデータ） (2021-10-11T11:36:50Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。
学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文 参考訳（メタデータ） (2020-04-15T09:52:37Z) - Scalable Gradients for Stochastic Differential Equations [40.70998833051251]
随伴感度法は 通常の微分方程式の勾配を
我々はこの手法を微分方程式に一般化し、時間効率と定数メモリ計算を可能にする。
提案手法は,ネットワークによって定義されたニューラルダイナミクスに適合し,50次元モーションキャプチャーデータセット上での競合性能を実現する。
論文 参考訳（メタデータ） (2020-01-05T23:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。