論文の概要: Online Variational Sequential Monte Carlo
- arxiv url: http://arxiv.org/abs/2312.12616v2
- Date: Fri, 2 Feb 2024 16:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:07:02.752047
- Title: Online Variational Sequential Monte Carlo
- Title(参考訳): オンライン変分逐次モンテカルロ
- Authors: Alessandro Mastrototaro and Jimmy Olsson
- Abstract要約: 我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
- 参考スコア(独自算出の注目度): 56.16884466478886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Being the most classical generative model for serial data, state-space models
(SSM) are fundamental in AI and statistical machine learning. In SSM, any form
of parameter learning or latent state inference typically involves the
computation of complex latent-state posteriors. In this work, we build upon the
variational sequential Monte Carlo (VSMC) method, which provides
computationally efficient and accurate model parameter estimation and Bayesian
latent-state inference by combining particle methods and variational inference.
While standard VSMC operates in the offline mode, by re-processing repeatedly a
given batch of data, we distribute the approximation of the gradient of the
VSMC surrogate ELBO in time using stochastic approximation, allowing for online
learning in the presence of streams of data. This results in an algorithm,
online VSMC, that is capable of performing efficiently, entirely on-the-fly,
both parameter estimation and particle proposal adaptation. In addition, we
provide rigorous theoretical results describing the algorithm's convergence
properties as the number of data tends to infinity as well as numerical
illustrations of its excellent convergence properties and usefulness also in
batch-processing settings.
- Abstract(参考訳): シリアルデータの最も古典的な生成モデルであるステートスペースモデル(ssm)は、aiと統計機械学習において基本である。
SSMでは、パラメータ学習や潜在状態推論のあらゆる形態は、一般に複雑な潜在状態の後部の計算を伴う。
本研究では, 粒子法と変分推論を組み合わせることで, 計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する, 変分連続モンテカルロ法(VSMC)を構築した。
標準VSMCはオフラインモードで動作するが、与えられたデータの繰り返し処理により、確率的近似を用いて、VSMCシュロゲートELBOの勾配の近似を時間内に分散し、データのストリームの存在下でオンライン学習を可能にする。
これにより、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することが可能な、オンラインVSMCアルゴリズムが実現される。
さらに,このアルゴリズムの収束特性を,データの個数が無限大になりがちであることを示す厳密な理論結果と,その収束特性とバッチ処理環境における有用性に関する数値イラストを提供する。
関連論文リスト
- Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳(メタデータ) (2023-09-08T16:32:47Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic
Representation [62.017505017414564]
教師なしの方法でニューラルソルバを訓練することが不可欠である。
既存の手法は妥当な精度を達成し、重要な計算課題と不正確なシミュレーションをもたらす。
PDEの確率的表現を用いて教師なしニューラルソルバを訓練するためのモンテカルロPDEソルバを提案する。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳(メタデータ) (2023-02-10T08:05:19Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Scalable Stochastic Parametric Verification with Stochastic Variational
Smoothed Model Checking [1.5293427903448025]
平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。
本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。
構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
論文 参考訳(メタデータ) (2022-05-11T10:43:23Z) - Online Variational Filtering and Parameter Learning [26.79116194327116]
状態空間モデル(SSM)におけるオンライン状態推定とパラメータ学習のための変分法を提案する。
我々は、モデルパラメータと状態の後方分布の変動近似の両方に関して、ログエビデンスの低い境界を同時に最適化するために勾配を用いる。
従来の手法と異なり,本手法では,過去の観測結果が組み込まれてから修正する必要がなく,更新のコストが一定であるように,完全にオンラインで運用することが可能である。
論文 参考訳(メタデータ) (2021-10-26T10:25:04Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳(メタデータ) (2021-06-03T12:59:16Z) - A Variational Infinite Mixture for Probabilistic Inverse Dynamics
Learning [34.90240171916858]
確率的局所モデルの無限混合に対する効率的な変分ベイズ推論手法を開発した。
我々は、データ駆動適応、高速予測、不連続関数とヘテロセダスティックノイズに対処する能力の組み合わせにおけるモデルのパワーを強調した。
学習したモデルを用いてBarrett-WAMマニピュレータのオンライン動的制御を行い、軌道追跡性能を大幅に改善した。
論文 参考訳(メタデータ) (2020-11-10T16:15:13Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳(メタデータ) (2020-07-11T19:44:09Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。