論文の概要: Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference
- arxiv url: http://arxiv.org/abs/2312.05910v3
- Date: Mon, 8 Jan 2024 10:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 22:13:53.709556
- Title: Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference
- Title(参考訳): Ensemble Kalman Filtering:非平均場とオンライン推論のためのガウスプロセスSSM
- Authors: Zhidi Lin and Yiyong Sun and Feng Yin and Alexandre Hoang Thi\'ery
- Abstract要約: 本稿では,アンサンブルカルマンフィルタ(EnKF)を変分推論フレームワークに組み込んで,潜伏状態の後方分布を近似する手法を提案する。
提案アルゴリズムは,変分推論における近似的エビデンス・ローバウンド(ELBO)の簡易評価を可能にすることを示す。
また、提案アルゴリズムをオンライン設定に合わせて拡張し、詳細なアルゴリズム分析と洞察を提供する。
- 参考スコア(独自算出の注目度): 50.91823345296243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process state-space models (GPSSMs) are a versatile and principled
family of nonlinear dynamical system models. However, existing variational
learning and inference methods for GPSSMs often necessitate optimizing a
substantial number of variational parameters, leading to inadequate performance
and efficiency. To overcome this issue, we propose incorporating the ensemble
Kalman filter (EnKF), a well-established model-based filtering technique, into
the variational inference framework to approximate the posterior distribution
of latent states. This utilization of EnKF can effectively exploit the
dependencies between latent states and GP dynamics, while eliminating the need
for parameterizing the variational distribution, thereby significantly reducing
the number of variational parameters. Moreover, we show that our proposed
algorithm allows straightforward evaluation of an approximated evidence lower
bound (ELBO) in variational inference via simply summating multiple terms with
readily available closed-form solutions. Leveraging automatic differentiation
tools, we hence can maximize the ELBO and train the GPSSM efficiently. We also
extend the proposed algorithm to accommodate an online setting and provide
detailed algorithmic analyses and insights. Extensive evaluation on diverse
real and synthetic datasets demonstrates the superiority of our EnKF-aided
variational inference algorithms in terms of learning and inference performance
compared to existing methods.
- Abstract(参考訳): ガウス過程状態空間モデル(英: Gaussian process state-space model、GPSSM)は、非線形力学系のモデルである。
しかし、既存のGPSSMの変分学習と推論手法では、かなりの数の変分パラメータを最適化する必要があることが多く、性能と効率が不十分である。
この問題を解決するために,モデルベースフィルタリング手法であるアンサンブル・カルマンフィルタ(EnKF)を変分推論フレームワークに組み込んで,潜時状態の後方分布を近似する手法を提案する。
このEnKFの利用は、変分分布のパラメータ化を不要にしつつ、潜時状態とGPダイナミクスの依存関係を効果的に活用し、変動パラメータの数を著しく削減できる。
さらに,提案アルゴリズムは,複数の項を簡単な閉形式解で要約することで,近似的エビデンスローバウンド(ELBO)を変分推論で容易に評価できることを示す。
自動微分ツールを活用することで、ELBOを最大化し、GPSSMを効率的に訓練することができる。
また、提案アルゴリズムをオンライン設定に合わせて拡張し、詳細なアルゴリズム分析と洞察を提供する。
多様な実・合成データセットに対する広範囲な評価は、既存の手法と比較して学習・推論性能の点で、我々のEnKF支援変分推論アルゴリズムの優位性を示している。
関連論文リスト
- Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning [1.8175282137722093]
科学機械学習(SciML)における不確実性(UQ)は、SciMLの強力な予測力と、学習したモデルの信頼性を定量化する方法を組み合わせる。
我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDE)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。
我々はモデル予測を継続的に更新する際の計算上の利点を提供する新しいRacatiベースの方法論を開発した。
論文 参考訳(メタデータ) (2024-04-12T20:54:01Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳(メタデータ) (2024-03-22T15:02:24Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳(メタデータ) (2023-06-14T11:41:42Z) - Perimeter Control Using Deep Reinforcement Learning: A Model-free
Approach towards Homogeneous Flow Rate Optimization [28.851432612392436]
周辺制御は、交通密度が臨界値以下であることを保証するため、地域間の移動フローを制御することにより、保護領域内の交通効率を高く維持する。
既存のアプローチは、ネットワーク伝送モデル(NTM)とマクロ基礎図(MFD)に依存するかによって、モデルベースまたはモデルフリーに分類することができる。
論文 参考訳(メタデータ) (2023-05-29T21:22:08Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳(メタデータ) (2023-02-20T11:34:16Z) - Probabilistic partition of unity networks for high-dimensional
regression problems [1.0227479910430863]
我々は高次元回帰問題におけるユニタリネットワーク(PPOU-Net)モデルの分割について検討する。
本稿では適応次元の減少に着目した一般的な枠組みを提案する。
PPOU-Netsは、数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。
論文 参考訳(メタデータ) (2022-10-06T06:01:36Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳(メタデータ) (2021-06-03T00:02:05Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳(メタデータ) (2020-11-14T01:27:32Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳(メタデータ) (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。