論文の概要: Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference
- arxiv url: http://arxiv.org/abs/2312.05910v3
- Date: Mon, 8 Jan 2024 10:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 22:13:53.709556
- Title: Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference
- Title（参考訳）: Ensemble Kalman Filtering:非平均場とオンライン推論のためのガウスプロセスSSM
- Authors: Zhidi Lin and Yiyong Sun and Feng Yin and Alexandre Hoang Thi\'ery
- Abstract要約: 本稿では,アンサンブルカルマンフィルタ(EnKF)を変分推論フレームワークに組み込んで,潜伏状態の後方分布を近似する手法を提案する。
提案アルゴリズムは,変分推論における近似的エビデンス・ローバウンド(ELBO)の簡易評価を可能にすることを示す。
また、提案アルゴリズムをオンライン設定に合わせて拡張し、詳細なアルゴリズム分析と洞察を提供する。
- 参考スコア（独自算出の注目度）: 50.91823345296243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process state-space models (GPSSMs) are a versatile and principled
family of nonlinear dynamical system models. However, existing variational
learning and inference methods for GPSSMs often necessitate optimizing a
substantial number of variational parameters, leading to inadequate performance
and efficiency. To overcome this issue, we propose incorporating the ensemble
Kalman filter (EnKF), a well-established model-based filtering technique, into
the variational inference framework to approximate the posterior distribution
of latent states. This utilization of EnKF can effectively exploit the
dependencies between latent states and GP dynamics, while eliminating the need
for parameterizing the variational distribution, thereby significantly reducing
the number of variational parameters. Moreover, we show that our proposed
algorithm allows straightforward evaluation of an approximated evidence lower
bound (ELBO) in variational inference via simply summating multiple terms with
readily available closed-form solutions. Leveraging automatic differentiation
tools, we hence can maximize the ELBO and train the GPSSM efficiently. We also
extend the proposed algorithm to accommodate an online setting and provide
detailed algorithmic analyses and insights. Extensive evaluation on diverse
real and synthetic datasets demonstrates the superiority of our EnKF-aided
variational inference algorithms in terms of learning and inference performance
compared to existing methods.
- Abstract（参考訳）: ガウス過程状態空間モデル(英: Gaussian process state-space model、GPSSM)は、非線形力学系のモデルである。
しかし、既存のGPSSMの変分学習と推論手法では、かなりの数の変分パラメータを最適化する必要があることが多く、性能と効率が不十分である。
この問題を解決するために,モデルベースフィルタリング手法であるアンサンブル・カルマンフィルタ(EnKF)を変分推論フレームワークに組み込んで,潜時状態の後方分布を近似する手法を提案する。
このEnKFの利用は、変分分布のパラメータ化を不要にしつつ、潜時状態とGPダイナミクスの依存関係を効果的に活用し、変動パラメータの数を著しく削減できる。
さらに,提案アルゴリズムは,複数の項を簡単な閉形式解で要約することで,近似的エビデンスローバウンド(ELBO)を変分推論で容易に評価できることを示す。
自動微分ツールを活用することで、ELBOを最大化し、GPSSMを効率的に訓練することができる。
また、提案アルゴリズムをオンライン設定に合わせて拡張し、詳細なアルゴリズム分析と洞察を提供する。
多様な実・合成データセットに対する広範囲な評価は、既存の手法と比較して学習・推論性能の点で、我々のEnKF支援変分推論アルゴリズムの優位性を示している。
関連論文リスト
- Recursive Gaussian Process State Space Model [4.572915072234487]
動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。
ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。
合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
論文 参考訳（メタデータ） (2024-11-22T02:22:59Z) - Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。
オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。
このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文 参考訳（メタデータ） (2024-11-04T16:12:37Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳（メタデータ） (2024-03-22T15:02:24Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Perimeter Control Using Deep Reinforcement Learning: A Model-free
Approach towards Homogeneous Flow Rate Optimization [28.851432612392436]
周辺制御は、交通密度が臨界値以下であることを保証するため、地域間の移動フローを制御することにより、保護領域内の交通効率を高く維持する。
既存のアプローチは、ネットワーク伝送モデル(NTM)とマクロ基礎図(MFD)に依存するかによって、モデルベースまたはモデルフリーに分類することができる。
論文 参考訳（メタデータ） (2023-05-29T21:22:08Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳（メタデータ） (2023-02-20T11:34:16Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳（メタデータ） (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。