論文の概要: Large-scale variational Gaussian state-space models
- arxiv url: http://arxiv.org/abs/2403.01371v1
- Date: Sun, 3 Mar 2024 02:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 21:45:08.295120
- Title: Large-scale variational Gaussian state-space models
- Title(参考訳): 大規模変分ガウス状態空間モデル
- Authors: Matthew Dowling, Yuan Zhao, Il Memming Park
- Abstract要約: 非線形力学を持つ状態空間モデルに対して、アモータイズされた変分推論アルゴリズムと構造化された変分近似を導入する。
我々はモンテカルロ近似の低ランク構造を利用して、力学を通して潜伏状態の辺縁化を行う。
全体としては、必要な統計値とELBOは、$O(TL(Sr + S2 + r2))$ time where $T$ is the series length, $L$ is the state-space dimensionality, $S$ is the number of sample used to approximately the predict step statistics, $r$ is the rank of the series length, $L$ is the $L$ is the state-space dimensionality, $S$ is the number of the sample。
- 参考スコア(独自算出の注目度): 10.704856607611156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an amortized variational inference algorithm and structured
variational approximation for state-space models with nonlinear dynamics driven
by Gaussian noise. Importantly, the proposed framework allows for efficient
evaluation of the ELBO and low-variance stochastic gradient estimates without
resorting to diagonal Gaussian approximations by exploiting (i) the low-rank
structure of Monte-Carlo approximations to marginalize the latent state through
the dynamics (ii) an inference network that approximates the update step with
low-rank precision matrix updates (iii) encoding current and future
observations into pseudo observations -- transforming the approximate smoothing
problem into an (easier) approximate filtering problem. Overall, the necessary
statistics and ELBO can be computed in $O(TL(Sr + S^2 + r^2))$ time where $T$
is the series length, $L$ is the state-space dimensionality, $S$ are the number
of samples used to approximate the predict step statistics, and $r$ is the rank
of the approximate precision matrix update in the update step (which can be
made of much lower dimension than $L$).
- Abstract(参考訳): ガウス雑音によって駆動される非線形動力学を持つ状態空間モデルに対して,不定形変分推論アルゴリズムと構造化変分近似を導入する。
提案手法は, 対角ガウス近似を用いることなく, エルボおよび低分散確率勾配推定の効率的な評価を可能にする。
(i)モンテカルロ近似の低ランク構造を動力学を通じて潜在状態を限界化する
(ii)低ランク精度行列更新による更新ステップを近似する推論ネットワーク
(iii)現在及び将来の観測を疑似観測に符号化する -- 近似平滑化問題を(より簡単な)近似フィルタリング問題に変換する。
全体として、必要な統計とelboは$o(tl(sr + s^2 + r^2))$$t$が級数の長さ、$l$は状態空間次元、$s$は予測ステップの統計を近似するために使われるサンプル数、$r$は更新ステップにおける近似精度行列更新のランク($l$よりはるかに低い次元で作成できる)で計算できる。
関連論文リスト
- Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳(メタデータ) (2023-01-26T18:14:12Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳(メタデータ) (2022-10-14T15:20:17Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳(メタデータ) (2022-04-18T17:53:44Z) - Improving Computational Complexity in Statistical Models with
Second-Order Information [32.64382185990981]
パラメトリック統計モデルにおけるパラメータ推定のための正規化勾配降下法(NormGD)について検討する。
我々は、NormGDアルゴリズムが最終的な統計的半径に達するために最適な計算量$mathcalO(n)$を達成することを示した。
この計算複雑性は、固定ステップサイズ勾配勾配アルゴリズムよりも安価である。
論文 参考訳(メタデータ) (2022-02-09T01:32:50Z) - Optimal and instance-dependent guarantees for Markovian linear
stochastic approximation [77.84027086542827]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳(メタデータ) (2021-12-23T18:47:50Z) - Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models [0.2741266294612776]
我々は高次元ランダム最小二乗問題に対して運動量を持つ勾配アルゴリズムのクラスを解析する。
固定運動量パラメータを持つ(小バッチ)運動量では,ステップサイズを正確に調整した場合,SGDよりも実際の性能向上は得られないことを示す。
非強凸条件では、運動量を用いてSGDよりも大きな改善が得られる。
論文 参考訳(メタデータ) (2021-06-07T15:08:24Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳(メタデータ) (2020-06-29T20:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。