論文の概要: A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics

• arxiv url: http://arxiv.org/abs/2407.12168v1
• Date: Tue, 16 Jul 2024 20:44:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 19:08:36.764844
• Title: A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics
• Title（参考訳）: 乱流雰囲気のダイナミクス予測のためのスケーラブルなリアルタイムデータ同化フレームワーク
• Authors: Junqi Yin, Siming Liang, Siyan Liu, Feng Bao, Hristo G. Chipilski, Dan Lu, Guannan Zhang,
• Abstract要約: 我々は,汎用リアルタイムデータ同化フレームワークを導入し,そのエンドツーエンド性能をFrontierスーパーコンピュータ上で実証する。 このフレームワークは、アンサンブルスコアフィルタ(EnSF)とビジョントランスフォーマーベースのサロゲートの2つの主要モジュールから構成される。 ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
• 参考スコア（独自算出の注目度）: 8.012940782999975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The weather and climate domains are undergoing a significant transformation thanks to advances in AI-based foundation models such as FourCastNet, GraphCast, ClimaX and Pangu-Weather. While these models show considerable potential, they are not ready yet for operational use in weather forecasting or climate prediction. This is due to the lack of a data assimilation method as part of their workflow to enable the assimilation of incoming Earth system observations in real time. This limitation affects their effectiveness in predicting complex atmospheric phenomena such as tropical cyclones and atmospheric rivers. To overcome these obstacles, we introduce a generic real-time data assimilation framework and demonstrate its end-to-end performance on the Frontier supercomputer. This framework comprises two primary modules: an ensemble score filter (EnSF), which significantly outperforms the state-of-the-art data assimilation method, namely, the Local Ensemble Transform Kalman Filter (LETKF); and a vision transformer-based surrogate capable of real-time adaptation through the integration of observational data. The ViT surrogate can represent either physics-based models or AI-based foundation models. We demonstrate both the strong and weak scaling of our framework up to 1024 GPUs on the Exascale supercomputer, Frontier. Our results not only illustrate the framework's exceptional scalability on high-performance computing systems, but also demonstrate the importance of supercomputers in real-time data assimilation for weather and climate predictions. Even though the proposed framework is tested only on a benchmark surface quasi-geostrophic (SQG) turbulence system, it has the potential to be combined with existing AI-based foundation models, making it suitable for future operational implementations.
• Abstract（参考訳）: 天気と気候のドメインは、FourCastNet、GraphCast、ClimaX、Pangu-WeatherといったAIベースの基盤モデルの進歩により、大きな変革が進んでいる。 これらのモデルはかなりの可能性を示しているが、気象予報や気候予報にはまだ運用される準備ができていない。 これは、受信した地球系の観測をリアルタイムで同化可能にするために、ワークフローの一部としてデータ同化法が欠如しているためである。 この制限は、熱帯のサイクロンや大気の川のような複雑な大気現象を予測する効果に影響を及ぼす。 これらの障害を克服するために,汎用的なリアルタイムデータ同化フレームワークを導入し,Frontierスーパーコンピュータ上でのエンド・ツー・エンドの性能を示す。 アンサンブルスコアフィルタ(EnSF)は、局所アンサンブル変換カルマンフィルタ(LETKF)と、観測データの統合によるリアルタイム適応が可能な視覚変換器ベースのサロゲートの2つの主要モジュールから構成される。 ViTサロゲートは、物理ベースのモデルまたはAIベースのファンデーションモデルのいずれかを表現することができる。 ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。 本研究は,高性能コンピューティングシステムにおけるフレームワークの卓越したスケーラビリティを示すだけでなく,気象・気候予報のリアルタイムデータ同化におけるスーパーコンピュータの重要性を示すものである。 提案したフレームワークは、ベンチマーク表面の準地磁気(SQG)乱流システムでのみテストされるが、既存のAIベースの基盤モデルと組み合わせる可能性があり、将来の運用実装に適している。

関連論文リスト

• MambaDS: Near-Surface Meteorological Field Downscaling with Topography Constrained Selective State Space Modeling [68.69647625472464]
  気象予測において重要な課題であるダウンスケーリングは、ターゲット領域に対する高解像度気象状態の再構築を可能にする。 以前のダウンスケーリング手法には気象学のための調整された設計が欠けており、構造的な限界に遭遇した。 本稿では,多変数相関と地形情報の利用性を高める新しいモデルであるMambaDSを提案する。
  論文  参考訳（メタデータ） (2024-08-20T13:45:49Z)
• Advances in Land Surface Model-based Forecasting: A comparative study of LSTM, Gradient Boosting, and Feedforward Neural Network Models as prognostic state emulators [4.852378895360775]
  地表面プロセスのシミュレーションによる実験研究の高速化における3つの代理モデルの効率性を評価する。 以上の結果から, LSTMネットワークは, 予測期間を経た平均モデル全体の精度は高いが, 慎重に調整した場合は, 大陸の長距離予測に優れることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:26:05Z)
• Probabilistic Emulation of a Global Climate Model with Spherical DYffusion [15.460280166612119]
  本研究では, 高精度で物理的に整合した地球規模の気候アンサンブルシミュレーションを作成した最初の条件生成モデルを提案する。 我々のモデルは、動的インフォームド拡散フレームワーク(DYffusion)と、球状フーリエニューラル演算子(SFNO)アーキテクチャを統合する。 このモデルは、気候モデルエミュレーションのための金本位に近い性能を達成し、既存のアプローチを上回り、有望なアンサンブルスキルを実証する。
  論文  参考訳（メタデータ） (2024-06-21T00:16:55Z)
• Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
  本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。 具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。 我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-22T16:21:02Z)
• Forecasting the Future with Future Technologies: Advancements in Large Meteorological Models [3.332582598089642]
  気象予報の分野は、大きなモデルの統合によって大きな変化を遂げた。 FourCastNet、Pangu-Weather、GraphCast、ClimaX、FengWuといったモデルは、正確で高精度な予測を提供することで、顕著な貢献をしている。
  論文  参考訳（メタデータ） (2024-04-10T00:52:54Z)
• Towards an end-to-end artificial intelligence driven global weather forecasting system [57.5191940978886]
  我々は,地球規模の気象変動に対するAIに基づくデータ同化モデル,すなわちAdasを提案する。 我々は,アダスが地球観測を同化して高品質な分析を行い,長期にわたって安定して運用できることを実証した。 この手法を現実のシナリオに適用するのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2023-12-18T09:05:28Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• FaIRGP: A Bayesian Energy Balance Model for Surface Temperatures Emulation [13.745581787463962]
  本稿では,エネルギー収支モデルの物理温度応答方程式を満たすデータ駆動エミュレータであるFaIRGPを紹介する。 本稿では,FaIRGPを用いて大気上層放射力の推定値を得る方法について述べる。 この研究が、気候エミュレーションにおけるデータ駆動手法の採用の拡大に寄与することを期待している。
  論文  参考訳（メタデータ） (2023-07-14T08:43:36Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
  本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。 我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。 ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T07:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。