論文の概要: Ensemble Kalman Filtering-Aided Variational Inference for Gaussian
Process State-Space Models
- arxiv url: http://arxiv.org/abs/2312.05910v1
- Date: Sun, 10 Dec 2023 15:22:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 18:03:51.928339
- Title: Ensemble Kalman Filtering-Aided Variational Inference for Gaussian
Process State-Space Models
- Title（参考訳）: アンサンブルカルマンフィルタによるガウス過程状態空間モデルの変分推論
- Authors: Zhidi Lin and Yiyong Sun and Feng Yin and Alexandre Thi\'ery
- Abstract要約: 我々は、アンサンブルカルマンフィルタ(EnKF)を用いて、変動推論フレームワーク内の潜伏状態の後方分布を近似する。
このアプローチは推論ネットワークの必要性を排除し、変動パラメータの数を著しく削減する。
EnKFと統合された変動推論アルゴリズムは、学習と推論性能の点で既存の手法より優れています。
- 参考スコア（独自算出の注目度）: 50.91823345296243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process state-space models (GPSSMs) provide a principled and
flexible approach to model latent state dynamics observed through emission
models. However, existing variational methods for learning GPSSMs face a
substantial challenge in optimizing a large number of parameters, particularly
with the introduction of amortized inference networks. To address this
challenge, we leverage the ensemble Kalman filter (EnKF), a well-established
model-based filtering technique, to approximate the posterior distribution of
latent states within the variational inference framework. This approach
eliminates the need for inference networks, significantly reducing the number
of variational parameters. Moreover, we demonstrate that with the aid of EnKF,
the straightforward evaluation of approximated evidence lower bound (ELBO) in
the variational inference can be easily obtained through the summation of
multiple terms with closed-form solutions. By leveraging automatic
differentiation tools, we thus can maximize the ELBO and train the GPSSM
efficiently. We also extend the proposed method to an online setting and
provide comprehensive algorithm analyses and insights. Extensive testing on
diverse real and simulated datasets demonstrates that our variational inference
algorithms, integrated with EnKF, outperform existing methods in terms of
learning and inference performance.
- Abstract（参考訳）: ガウス過程状態空間モデル(GPSSM)は、放射モデルを通して観測される潜在状態ダイナミクスをモデル化するための原理的かつ柔軟なアプローチを提供する。
しかし、既存のGPSSMを学習するための変分法は、特に償却推論ネットワークの導入によって、多数のパラメータを最適化する上で大きな課題に直面している。
この課題に対処するために,定評あるモデルベースフィルタリング手法であるアンサンブルカルマンフィルタ(enkf)を用いて,変動推論フレームワークにおける潜在状態の後方分布を近似する。
このアプローチは推論ネットワークの必要性をなくし、変動パラメータの数を大幅に削減する。
さらに,EnKFの助けを借りて,閉形式解を用いた複数項の和により,変分推論における近似的エビデンス下界(ELBO)の簡易評価が容易に得られることを示した。
自動微分ツールを利用することで、ELBOを最大化し、GPSSMを効率的に訓練することができる。
また,提案手法をオンライン環境に拡張し,包括的アルゴリズム解析と洞察を提供する。
多様な実データとシミュレーションデータセットの大規模なテストは、我々の変分推論アルゴリズムがEnKFと統合され、学習と推論性能の点で既存の手法よりも優れていることを示す。
関連論文リスト
- Recursive Gaussian Process State Space Model [4.572915072234487]
動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。
ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。
合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
論文 参考訳（メタデータ） (2024-11-22T02:22:59Z) - Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。
オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。
このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文 参考訳（メタデータ） (2024-11-04T16:12:37Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳（メタデータ） (2024-03-22T15:02:24Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Perimeter Control Using Deep Reinforcement Learning: A Model-free
Approach towards Homogeneous Flow Rate Optimization [28.851432612392436]
周辺制御は、交通密度が臨界値以下であることを保証するため、地域間の移動フローを制御することにより、保護領域内の交通効率を高く維持する。
既存のアプローチは、ネットワーク伝送モデル(NTM)とマクロ基礎図(MFD)に依存するかによって、モデルベースまたはモデルフリーに分類することができる。
論文 参考訳（メタデータ） (2023-05-29T21:22:08Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳（メタデータ） (2023-02-20T11:34:16Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳（メタデータ） (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。