論文の概要: Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference
- arxiv url: http://arxiv.org/abs/2312.05910v4
- Date: Sun, 14 Jan 2024 08:37:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:09:15.632437
- Title: Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference
- Title（参考訳）: Ensemble Kalman Filtering:非平均場とオンライン推論のためのガウスプロセスSSM
- Authors: Zhidi Lin and Yiyong Sun and Feng Yin and Alexandre Hoang Thi\'ery
- Abstract要約: 我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
- 参考スコア（独自算出の注目度）: 50.91823345296243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Gaussian process state-space models (GPSSMs) represent a versatile class
of data-driven nonlinear dynamical system models. However, the presence of
numerous latent variables in GPSSM incurs unresolved issues for existing
variational inference approaches, particularly under the more realistic
non-mean-field (NMF) assumption, including extensive training effort,
compromised inference accuracy, and infeasibility for online applications,
among others. In this paper, we tackle these challenges by incorporating the
ensemble Kalman filter (EnKF), a well-established model-based filtering
technique, into the NMF variational inference framework to approximate the
posterior distribution of the latent states. This novel marriage between EnKF
and GPSSM not only eliminates the need for extensive parameterization in
learning variational distributions, but also enables an interpretable,
closed-form approximation of the evidence lower bound (ELBO). Moreover, owing
to the streamlined parameterization via the EnKF, the new GPSSM model can be
easily accommodated in online learning applications. We demonstrate that the
resulting EnKF-aided online algorithm embodies a principled objective function
by ensuring data-fitting accuracy while incorporating model regularizations to
mitigate overfitting. We also provide detailed analysis and fresh insights for
the proposed algorithms. Comprehensive evaluation across diverse real and
synthetic datasets corroborates the superior learning and inference performance
of our EnKF-aided variational inference algorithms compared to existing
methods.
- Abstract（参考訳）: ガウス過程状態空間モデル(GPSSM)は、データ駆動非線形力学系モデルの多用途クラスを表す。
しかしながら、gpssmに多くの潜在変数が存在することは、既存の変分推論のアプローチ、特により現実的な非平均場(nmf)の仮定の下で、広範囲なトレーニング作業、妥協された推論精度、オンラインアプリケーションへの実現不可能など、未解決の問題を引き起こす。
本稿では, モデルベースフィルタリング手法であるアンサンブルカルマンフィルタ(EnKF)をNMF変分推論フレームワークに組み込んで, 潜伏状態の後方分布を近似することで, これらの課題に対処する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能な閉形式近似を可能にする。
さらに、EnKFによるパラメータ化の合理化により、オンライン学習アプリケーションでは、新しいGPSSMモデルを容易に利用できる。
提案手法は,データフィッティング精度を確保しつつ,過剰フィッティングを緩和するモデル正則化を取り入れることで,目的関数を具体化する。
また,提案アルゴリズムの詳細な分析と新たな洞察も提供する。
多様な実・合成データセット間の包括的評価は、既存の手法と比較して、EnKF支援変分推論アルゴリズムの優れた学習と推論性能を裏付ける。
関連論文リスト
- Recursive Gaussian Process State Space Model [4.572915072234487]
動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。
ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。
合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
論文 参考訳（メタデータ） (2024-11-22T02:22:59Z) - Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。
オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。
このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文 参考訳（メタデータ） (2024-11-04T16:12:37Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳（メタデータ） (2024-03-22T15:02:24Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Perimeter Control Using Deep Reinforcement Learning: A Model-free
Approach towards Homogeneous Flow Rate Optimization [28.851432612392436]
周辺制御は、交通密度が臨界値以下であることを保証するため、地域間の移動フローを制御することにより、保護領域内の交通効率を高く維持する。
既存のアプローチは、ネットワーク伝送モデル(NTM)とマクロ基礎図(MFD)に依存するかによって、モデルベースまたはモデルフリーに分類することができる。
論文 参考訳（メタデータ） (2023-05-29T21:22:08Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳（メタデータ） (2023-02-20T11:34:16Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳（メタデータ） (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。