論文の概要: Latent-EnSF: A Latent Ensemble Score Filter for High-Dimensional Data Assimilation with Sparse Observation Data
- arxiv url: http://arxiv.org/abs/2409.00127v3
- Date: Wed, 11 Sep 2024 17:18:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 20:02:24.942823
- Title: Latent-EnSF: A Latent Ensemble Score Filter for High-Dimensional Data Assimilation with Sparse Observation Data
- Title(参考訳): Latent-EnSF:スパース観測データと高次元データ同化のための潜時アンサンブルスコアフィルタ
- Authors: Phillip Si, Peng Chen,
- Abstract要約: 本研究では,非線形ベイズフィルタの観測における高次元化と高空間化の課題に対処するため,新しいデータ同化手法であるLatent-EnSFを提案する。
本研究では,浅波伝搬と中距離気象予報の複雑なモデルを用いた2つの難題に対して,Latent-EnSFの高精度,高速収束,高効率性を実証した。
- 参考スコア(独自算出の注目度): 4.027368782323261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate modeling and prediction of complex physical systems often rely on data assimilation techniques to correct errors inherent in model simulations. Traditional methods like the Ensemble Kalman Filter (EnKF) and its variants as well as the recently developed Ensemble Score Filters (EnSF) face significant challenges when dealing with high-dimensional and nonlinear Bayesian filtering problems with sparse observations, which are ubiquitous in real-world applications. In this paper, we propose a novel data assimilation method, Latent-EnSF, which leverages EnSF with efficient and consistent latent representations of the full states and sparse observations to address the joint challenges of high dimensionlity in states and high sparsity in observations for nonlinear Bayesian filtering. We introduce a coupled Variational Autoencoder (VAE) with two encoders to encode the full states and sparse observations in a consistent way guaranteed by a latent distribution matching and regularization as well as a consistent state reconstruction. With comparison to several methods, we demonstrate the higher accuracy, faster convergence, and higher efficiency of Latent-EnSF for two challenging applications with complex models in shallow water wave propagation and medium-range weather forecasting, for highly sparse observations in both space and time.
- Abstract(参考訳): 複雑な物理系の正確なモデリングと予測は、しばしばモデルシミュレーションに固有の誤りを修正するためにデータ同化技術に依存する。
Ensemble Kalman Filter (EnKF) のような従来の手法や、最近開発されたEnsemble Score Filters (EnSF) のような手法は、高次元および非線形ベイズフィルタ問題とスパース・オブザーバで扱う場合、現実のアプリケーションでユビキタスである。
本稿では,EnSFを有効かつ一貫した全状態の潜在表現とスパース観測で活用し,非線形ベイズフィルタの観測における高次元と高空間の連成課題に対処する新しいデータ同化手法であるLatent-EnSFを提案する。
本研究では,2つのエンコーダを結合した変分オートエンコーダ(VAE)を導入し,定常分布マッチングと正規化,および一貫した状態再構成によって保証される一貫した方法で全状態を符号化し,観察を疎結合にする。
いくつかの手法と比較して,浅海波伝搬と中距離気象予報の複雑なモデルを用いた2つの挑戦的応用に対して,Latent-EnSFの高精度,高速収束,高効率性を実証した。
関連論文リスト
- Spatially-Aware Diffusion Models with Cross-Attention for Global Field Reconstruction with Sparse Observations [1.371691382573869]
フィールド再構成タスクにおけるスコアベース拡散モデルの開発と拡張を行う。
本研究では,観測領域と観測領域の間のトラクタブルマッピングを構築するための条件符号化手法を提案する。
本研究では, モデルが再現可能かどうかを把握し, 融合結果の精度を向上する能力を示す。
論文 参考訳(メタデータ) (2024-08-30T19:46:23Z) - SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。
伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。
本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2024-05-29T08:00:15Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳(メタデータ) (2023-12-16T11:40:49Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-07-17T07:12:29Z) - Deep learning-enhanced ensemble-based data assimilation for
high-dimensional nonlinear dynamical systems [0.0]
Ensemble Kalman filter (EnKF) は高次元非線形力学系を含むアプリケーションで広く使われているDAアルゴリズムである。
本研究では,二層型擬似地栄養流システムに適用可能なハイブリッドアンサンブルカルマンフィルタ (H-EnKF) を提案する。
論文 参考訳(メタデータ) (2022-06-09T23:34:49Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Deep Variational Models for Collaborative Filtering-based Recommender
Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。
提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。
提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文 参考訳(メタデータ) (2021-07-27T08:59:39Z) - Machine learning-based conditional mean filter: a generalization of the
ensemble Kalman filter for nonlinear data assimilation [42.60602838972598]
スパース観測に基づく非線形ダイナミクスを持つ高次元非ガウス状態モデルを追跡する機械学習ベースのアンサンブル条件付き平均フィルタ(ML-EnCMF)を提案する。
提案手法は条件付き期待値に基づいて開発され,機械学習(ML)技術とアンサンブル法を組み合わせて数値的に実装されている。
論文 参考訳(メタデータ) (2021-06-15T06:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。