論文の概要: Online Variational Filtering and Parameter Learning

• arxiv url: http://arxiv.org/abs/2110.13549v1
• Date: Tue, 26 Oct 2021 10:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 14:17:19.744736
• Title: Online Variational Filtering and Parameter Learning
• Title（参考訳）: オンライン変動フィルタリングとパラメータ学習
• Authors: Andrew Campbell, Yuyang Shi, Tom Rainforth, Arnaud Doucet
• Abstract要約: 状態空間モデル(SSM)におけるオンライン状態推定とパラメータ学習のための変分法を提案する。 我々は、モデルパラメータと状態の後方分布の変動近似の両方に関して、ログエビデンスの低い境界を同時に最適化するために勾配を用いる。 従来の手法と異なり,本手法では,過去の観測結果が組み込まれてから修正する必要がなく,更新のコストが一定であるように,完全にオンラインで運用することが可能である。
• 参考スコア（独自算出の注目度）: 26.79116194327116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a variational method for online state estimation and parameter learning in state-space models (SSMs), a ubiquitous class of latent variable models for sequential data. As per standard batch variational techniques, we use stochastic gradients to simultaneously optimize a lower bound on the log evidence with respect to both model parameters and a variational approximation of the states' posterior distribution. However, unlike existing approaches, our method is able to operate in an entirely online manner, such that historic observations do not require revisitation after being incorporated and the cost of updates at each time step remains constant, despite the growing dimensionality of the joint posterior distribution of the states. This is achieved by utilizing backward decompositions of this joint posterior distribution and of its variational approximation, combined with Bellman-type recursions for the evidence lower bound and its gradients. We demonstrate the performance of this methodology across several examples, including high-dimensional SSMs and sequential Variational Auto-Encoders.
• Abstract（参考訳）: 逐次データに対する潜在変数モデルのユビキタスクラスである状態空間モデル(SSM)におけるオンライン状態推定とパラメータ学習のための変分法を提案する。 標準バッチ変分法と同様に、我々は確率勾配を用いて、モデルパラメータと状態の後方分布の変動近似の両方に関して、ログエビデンス上の下限を同時に最適化する。 しかし,従来の手法とは違って,過去の観測では組み込まれてから修正する必要がなく,各段階の更新コストが一定でありながら,共同後続分布の次元が増大しているため,完全にオンラインで運用することが可能である。 これは、この結合後部分布と変分近似の後方分解と、証拠の下界とその勾配に対するベルマン型再帰を併用することにより達成される。 高次元ssmや逐次変分オートエンコーダなど,いくつかの例でこの手法の性能を示す。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Nonparametric Automatic Differentiation Variational Inference with Spline Approximation [7.5620760132717795]
  複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。 広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。 実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-10T20:22:06Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Predicting Ordinary Differential Equations with Transformers [65.07437364102931]
  単一溶液軌道の不規則サンプリングおよび雑音観測から,スカラー常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを開発した。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たな観測解の法則を推測することができる。
  論文  参考訳（メタデータ） (2023-07-24T08:46:12Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Markov Chain Monte Carlo for Continuous-Time Switching Dynamical Systems [26.744964200606784]
  マルコフ連鎖モンテカルロ法による新しい推論アルゴリズムを提案する。 提示されたギブスサンプルは、正確な連続時間後処理から試料を効率的に得ることができる。
  論文  参考訳（メタデータ） (2022-05-18T09:03:00Z)
• Variational Inference for Continuous-Time Switching Dynamical Systems [29.984955043675157]
  従属拡散過程を変調したマルコフジャンプ過程に基づくモデルを提案する。 我々は,新しい連続時間変動推定アルゴリズムを開発した。 モデル仮定と実世界の実例に基づいて,我々のアルゴリズムを広範囲に評価する。
  論文  参考訳（メタデータ） (2021-09-29T15:19:51Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。