論文の概要: Ensemble Kalman Filtering-Aided Variational Inference for Gaussian
Process State-Space Models
- arxiv url: http://arxiv.org/abs/2312.05910v2
- Date: Sat, 23 Dec 2023 06:57:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 21:09:21.682961
- Title: Ensemble Kalman Filtering-Aided Variational Inference for Gaussian
Process State-Space Models
- Title（参考訳）: アンサンブルカルマンフィルタによるガウス過程状態空間モデルの変分推論
- Authors: Zhidi Lin and Yiyong Sun and Feng Yin and Alexandre Hoang Thi\'ery
- Abstract要約: 本稿では,アンサンブルカルマンフィルタ(EnKF)を変分推論フレームワークに組み込んで,潜伏状態の後方分布を近似する手法を提案する。
このEnKFの利用は、潜伏状態とGPダイナミクス間の依存関係を効果的に活用することができる。
提案アルゴリズムは,変分推論における近似的エビデンス・ローバウンド(ELBO)の簡易評価を可能にすることを示す。
- 参考スコア（独自算出の注目度）: 50.91823345296243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process state-space models (GPSSMs) are a flexible and principled
approach for modeling dynamical systems. However, existing variational learning
and inference methods for GPSSMs often necessitate optimizing a substantial
number of variational distribution parameters, leading to inadequate
performance and efficiency. To overcome this issue, we propose incorporating
the ensemble Kalman filter (EnKF), a well-established model-based filtering
technique, into the variational inference framework to approximate the
posterior distribution of latent states. This utilization of EnKF can
effectively exploit the dependencies between latent states and GP dynamics,
while eliminating the need for parameterizing the variational distribution,
thereby significantly reducing the number of variational parameters. Moreover,
we show that our proposed algorithm allows straightforward evaluation of an
approximated evidence lower bound (ELBO) in variational inference via simply
summating multiple terms with readily available closed-form solutions.
Leveraging automatic differentiation tools, we hence can maximize the ELBO and
train the GPSSM efficiently. We also extend the proposed algorithm to an online
setting and provide detailed algorithmic analyses and insights. Extensive
evaluation on diverse real and synthetic datasets demonstrates the superiority
of our EnKF-aided variational inference algorithms in terms of learning and
inference performance compared to existing methods.
- Abstract（参考訳）: ガウス過程状態空間モデル(GPSSM)は動的システムをモデル化するための柔軟で原則化されたアプローチである。
しかし、既存のGPSSMの変分学習と推論手法では、かなりの数の変分分布パラメータを最適化する必要があることが多く、性能と効率が不十分である。
この問題を解決するために,モデルベースフィルタリング手法であるアンサンブル・カルマンフィルタ(EnKF)を変分推論フレームワークに組み込んで,潜時状態の後方分布を近似する手法を提案する。
このEnKFの利用は、変分分布のパラメータ化を不要にしつつ、潜時状態とGPダイナミクスの依存関係を効果的に活用し、変動パラメータの数を著しく削減できる。
さらに,提案アルゴリズムは,複数の項を簡単な閉形式解で要約することで,近似的エビデンスローバウンド(ELBO)を変分推論で容易に評価できることを示す。
自動微分ツールを活用することで、ELBOを最大化し、GPSSMを効率的に訓練することができる。
また,提案アルゴリズムをオンライン環境に拡張し,詳細なアルゴリズム解析と洞察を提供する。
多様な実・合成データセットに対する広範囲な評価は、既存の手法と比較して学習・推論性能の点で、我々のEnKF支援変分推論アルゴリズムの優位性を示している。
関連論文リスト
- Recursive Gaussian Process State Space Model [4.572915072234487]
動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。
ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。
合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
論文 参考訳（メタデータ） (2024-11-22T02:22:59Z) - Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。
オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。
このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文 参考訳（メタデータ） (2024-11-04T16:12:37Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳（メタデータ） (2024-03-22T15:02:24Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Perimeter Control Using Deep Reinforcement Learning: A Model-free
Approach towards Homogeneous Flow Rate Optimization [28.851432612392436]
周辺制御は、交通密度が臨界値以下であることを保証するため、地域間の移動フローを制御することにより、保護領域内の交通効率を高く維持する。
既存のアプローチは、ネットワーク伝送モデル(NTM)とマクロ基礎図(MFD)に依存するかによって、モデルベースまたはモデルフリーに分類することができる。
論文 参考訳（メタデータ） (2023-05-29T21:22:08Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳（メタデータ） (2023-02-20T11:34:16Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳（メタデータ） (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。