論文の概要: Auxiliary MCMC and particle Gibbs samplers for parallelisable inference in latent dynamical systems

• arxiv url: http://arxiv.org/abs/2303.00301v2
• Date: Wed, 20 Nov 2024 09:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:28.670074
• Title: Auxiliary MCMC and particle Gibbs samplers for parallelisable inference in latent dynamical systems
• Title（参考訳）: 潜時力学系における並列推論のための補助MCMCと粒子ギブスサンプリング器
• Authors: Adrien Corenflos, Simo Särkkä,
• Abstract要約: 本研究では,高次元(時間ステップ数と潜時空間次元)非線型非ガウス潜在力学モデルからサンプリングするための効率的なMCMCアルゴリズムの設計問題について検討する。 モデルに補助的な観測変数を導入することにより、大きな状態空間モデルに対して効率的にカルマンベースのサンプルを実装できることを示す。 我々は、これらの補助サンプルを時間次元に沿って並列化する方法を示し、その結果、時間ステップの数と対数的にスケールするアルゴリズムを生み出した。
• 参考スコア（独自算出の注目度）: 12.13101948886485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of designing efficient exact MCMC algorithms for sampling from the full posterior distribution of high-dimensional (in the number of time steps and the dimension of the latent space) non-linear non-Gaussian latent dynamical models. Particle Gibbs, also known as conditional sequential Monte Carlo (SMC), constitutes the de facto golden standard to do so, but suffers from degeneracy problems when the dimension of the latent space increases. On the other hand, the routinely employed globally Gaussian-approximated (e.g., extended Kalman filtering) biased solutions are seldom used for this same purpose even though they are more robust than their SMC counterparts. In this article, we show how, by introducing auxiliary observation variables in the model, we can both implement efficient exact Kalman-based samplers for large state-space models, as well as dramatically improve the mixing speed of particle Gibbs algorithms when the dimension of the latent space increases. We demonstrate when and how we can parallelise these auxiliary samplers along the time dimension, resulting in algorithms that scale logarithmically with the number of time steps when implemented on graphics processing units (GPUs). Both algorithms are easily tuned and can be extended to accommodate sophisticated approximation techniques. We demonstrate the improved statistical and computational performance of our auxiliary samplers compared to state-of-the-art alternatives for high-dimensional (in both time and state space) latent dynamical systems.
• Abstract（参考訳）: 本研究では,高次元(時間ステップ数および潜時空間次元)非線型非ガウス潜在力学モデルの全後部分布からサンプリングするための効率的なMCMCアルゴリズムの設計問題について検討する。 粒子ギブズ(英: Particle Gibbs、または条件付きシーケンシャルモンテカルロ(英: Conditional sequence Monte Carlo、SMC)は、それを行うための事実上の黄金標準を構成するが、潜時空間の次元が大きくなると縮退問題に悩まされる。 一方、グローバルガウス近似(例えば拡張カルマンフィルタ)の偏りのある解は、SMCよりも頑健であるにもかかわらず、この目的のためにはほとんど使われない。 本稿では, モデルに補助観測変数を導入することにより, 大規模状態空間モデルに対して, 正確なKalman-based samplerを効率的に実装できると同時に, 潜時空間の次元が大きくなると粒子ギブスアルゴリズムの混合速度を劇的に向上させることができることを示す。 グラフィック処理ユニット(GPU)に実装した場合の時間ステップ数と対数的にスケールするアルゴリズムが得られた。 どちらのアルゴリズムも簡単に調整でき、高度な近似技術に対応できるように拡張できる。 我々は,高次元(時間空間と状態空間の両方)潜在力学系に対する最先端の代替手法と比較して,補助試料の統計的および計算性能の向上を実証した。

関連論文リスト

• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems [4.382988524355736]
  正規化フローを統合したフローベースベイズフィルタ(FBF)を提案する。 このフレームワークは、フローの正規化によって提供される可逆変換を用いて、効率的な密度推定とサンプリングを容易にする。 数値実験によりFBFの精度と効率が向上した。
  論文  参考訳（メタデータ） (2025-02-22T14:04:23Z)
• Parallel simulation for sampling under isoperimetry and score-based diffusion models [56.39904484784127]
  データサイズが大きくなるにつれて、イテレーションコストの削減が重要な目標になります。 科学計算における初期値問題の並列シミュレーションの成功に触発されて,タスクをサンプリングするための並列Picard法を提案する。 本研究は,動力学に基づくサンプリング・拡散モデルの科学的計算におけるシミュレーション手法の潜在的利点を強調した。
  論文  参考訳（メタデータ） (2024-12-10T11:50:46Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Improving sample efficiency of high dimensional Bayesian optimization with MCMC [7.241485121318798]
  本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。 提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T05:56:42Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Weighted Riesz Particles [0.0]
  対象分布を、パラメータの無限次元空間が多くの決定論的部分多様体からなる写像と考える。 我々は、Rieszと呼ばれる点の性質を研究し、それをシーケンシャルMCMCに埋め込む。 低い評価で高い受け入れ率が得られることが分かりました。
  論文  参考訳（メタデータ） (2023-12-01T14:36:46Z)
• Two dimensional quantum lattice models via mode optimized hybrid CPU-GPU density matrix renormalization group method [0.0]
  2つの空間次元量子格子モデル上で量子多体問題をシミュレートするためのハイブリッド数値計算手法を提案する。 本研究では, 2次元スピンレスフェルミオンモデルと, トーラス幾何学上のハバードモデルについて, 計算時間における数桁の大きさを節約できることを実証する。
  論文  参考訳（メタデータ） (2023-11-23T17:07:47Z)
• Efficient Exploration in Continuous-time Model-based Reinforcement Learning [37.14026153342745]
  強化学習アルゴリズムは典型的には離散時間力学を考察するが、基礎となるシステムは時間的に連続していることが多い。 連続時間力学を表すモデルに基づく強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-30T15:04:40Z)
• Towards Efficient Modeling and Inference in Multi-Dimensional Gaussian Process State-Space Models [11.13664702335756]
  我々は,高次元潜在状態空間における遷移関数を効率的にモデル化するために,効率的な変換ガウス過程(ETGP)をGPSSMに統合することを提案する。 また,パラメータ数および計算複雑性の観点から,既存の手法を超越した変分推論アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-09-03T04:34:33Z)
• Online Time Series Anomaly Detection with State Space Gaussian Processes [12.483273106706623]
  R-ssGPFAは、一様および多変量時系列の教師なしオンライン異常検出モデルである。 高次元時系列に対して、時系列の一般的な潜伏過程を特定するためにガウス過程因子解析の拡張を提案する。 異常観測時にカルマン更新をスキップすることで,モデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2022-01-18T06:43:32Z)
• Fast Doubly-Adaptive MCMC to Estimate the Gibbs Partition Function with Weak Mixing Time Bounds [7.428782604099876]
  Gibbs分布の実践的応用に対する大きな障害は、それらの分割関数を見積もる必要があることである。 本稿では,分割関数を厳密に推定する計算複雑性を低減する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-14T15:42:02Z)
• Adaptive Machine Learning for Time-Varying Systems: Low Dimensional Latent Space Tuning [91.3755431537592]
  本稿では,時間変化システムを対象とした適応機械学習手法を提案する。 我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。 そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
  論文  参考訳（メタデータ） (2021-07-13T16:05:28Z)
• Deterministic Gibbs Sampling via Ordinary Differential Equations [77.42706423573573]
  本稿では,自律的ODEとツールを用いた決定論的測度保存ダイナミクスの一般構築について述べる。 我々は、ハイブリッドモンテカルロや他の決定論的サンプルが、我々の理論の特別な場合としてどのように従うかを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:36:09Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。