論文の概要: A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics
- arxiv url: http://arxiv.org/abs/2407.12168v1
- Date: Tue, 16 Jul 2024 20:44:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 19:08:36.764844
- Title: A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics
- Title(参考訳): 乱流雰囲気のダイナミクス予測のためのスケーラブルなリアルタイムデータ同化フレームワーク
- Authors: Junqi Yin, Siming Liang, Siyan Liu, Feng Bao, Hristo G. Chipilski, Dan Lu, Guannan Zhang,
- Abstract要約: 我々は,汎用リアルタイムデータ同化フレームワークを導入し,そのエンドツーエンド性能をFrontierスーパーコンピュータ上で実証する。
このフレームワークは、アンサンブルスコアフィルタ(EnSF)とビジョントランスフォーマーベースのサロゲートの2つの主要モジュールから構成される。
ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
- 参考スコア(独自算出の注目度): 8.012940782999975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The weather and climate domains are undergoing a significant transformation thanks to advances in AI-based foundation models such as FourCastNet, GraphCast, ClimaX and Pangu-Weather. While these models show considerable potential, they are not ready yet for operational use in weather forecasting or climate prediction. This is due to the lack of a data assimilation method as part of their workflow to enable the assimilation of incoming Earth system observations in real time. This limitation affects their effectiveness in predicting complex atmospheric phenomena such as tropical cyclones and atmospheric rivers. To overcome these obstacles, we introduce a generic real-time data assimilation framework and demonstrate its end-to-end performance on the Frontier supercomputer. This framework comprises two primary modules: an ensemble score filter (EnSF), which significantly outperforms the state-of-the-art data assimilation method, namely, the Local Ensemble Transform Kalman Filter (LETKF); and a vision transformer-based surrogate capable of real-time adaptation through the integration of observational data. The ViT surrogate can represent either physics-based models or AI-based foundation models. We demonstrate both the strong and weak scaling of our framework up to 1024 GPUs on the Exascale supercomputer, Frontier. Our results not only illustrate the framework's exceptional scalability on high-performance computing systems, but also demonstrate the importance of supercomputers in real-time data assimilation for weather and climate predictions. Even though the proposed framework is tested only on a benchmark surface quasi-geostrophic (SQG) turbulence system, it has the potential to be combined with existing AI-based foundation models, making it suitable for future operational implementations.
- Abstract(参考訳): 天気と気候のドメインは、FourCastNet、GraphCast、ClimaX、Pangu-WeatherといったAIベースの基盤モデルの進歩により、大きな変革が進んでいる。
これらのモデルはかなりの可能性を示しているが、気象予報や気候予報にはまだ運用される準備ができていない。
これは、受信した地球系の観測をリアルタイムで同化可能にするために、ワークフローの一部としてデータ同化法が欠如しているためである。
この制限は、熱帯のサイクロンや大気の川のような複雑な大気現象を予測する効果に影響を及ぼす。
これらの障害を克服するために,汎用的なリアルタイムデータ同化フレームワークを導入し,Frontierスーパーコンピュータ上でのエンド・ツー・エンドの性能を示す。
アンサンブルスコアフィルタ(EnSF)は、局所アンサンブル変換カルマンフィルタ(LETKF)と、観測データの統合によるリアルタイム適応が可能な視覚変換器ベースのサロゲートの2つの主要モジュールから構成される。
ViTサロゲートは、物理ベースのモデルまたはAIベースのファンデーションモデルのいずれかを表現することができる。
ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
本研究は,高性能コンピューティングシステムにおけるフレームワークの卓越したスケーラビリティを示すだけでなく,気象・気候予報のリアルタイムデータ同化におけるスーパーコンピュータの重要性を示すものである。
提案したフレームワークは、ベンチマーク表面の準地磁気(SQG)乱流システムでのみテストされるが、既存のAIベースの基盤モデルと組み合わせる可能性があり、将来の運用実装に適している。
関連論文リスト
- Advances in Land Surface Model-based Forecasting: A comparative study of LSTM, Gradient Boosting, and Feedforward Neural Network Models as prognostic state emulators [4.852378895360775]
地表面プロセスのシミュレーションによる実験研究の高速化における3つの代理モデルの効率性を評価する。
以上の結果から, LSTMネットワークは, 予測期間を経た平均モデル全体の精度は高いが, 慎重に調整した場合は, 大陸の長距離予測に優れることがわかった。
論文 参考訳(メタデータ) (2024-07-23T13:26:05Z) - Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。
具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。
我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
論文 参考訳(メタデータ) (2024-05-22T16:21:02Z) - Forecasting the Future with Future Technologies: Advancements in Large Meteorological Models [3.332582598089642]
気象予報の分野は、大きなモデルの統合によって大きな変化を遂げた。
FourCastNet、Pangu-Weather、GraphCast、ClimaX、FengWuといったモデルは、正確で高精度な予測を提供することで、顕著な貢献をしている。
論文 参考訳(メタデータ) (2024-04-10T00:52:54Z) - Towards an end-to-end artificial intelligence driven global weather forecasting system [57.5191940978886]
我々は,地球規模の気象変動に対するAIに基づくデータ同化モデル,すなわちAdasを提案する。
我々は,アダスが地球観測を同化して高品質な分析を行い,長期にわたって安定して運用できることを実証した。
この手法を現実のシナリオに適用するのは,私たちが初めてです。
論文 参考訳(メタデータ) (2023-12-18T09:05:28Z) - FengWu-4DVar: Coupling the Data-driven Weather Forecasting Model with 4D Variational Assimilation [67.20588721130623]
我々は,AIを用いた循環型天気予報システムFengWu-4DVarを開発した。
FengWu-4DVarは観測データをデータ駆動の天気予報モデルに組み込むことができる。
シミュレーションされた観測データセットの実験は、FengWu-4DVarが合理的な解析場を生成することができることを示した。
論文 参考訳(メタデータ) (2023-12-16T02:07:56Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - FaIRGP: A Bayesian Energy Balance Model for Surface Temperatures
Emulation [13.745581787463962]
本稿では,エネルギー収支モデルの物理温度応答方程式を満たすデータ駆動エミュレータであるFaIRGPを紹介する。
本稿では,FaIRGPを用いて大気上層放射力の推定値を得る方法について述べる。
この研究が、気候エミュレーションにおけるデータ駆動手法の採用の拡大に寄与することを期待している。
論文 参考訳(メタデータ) (2023-07-14T08:43:36Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳(メタデータ) (2023-01-24T23:19:01Z) - Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。
我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。
ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T07:49:48Z) - Improving data-driven global weather prediction using deep convolutional
neural networks on a cubed sphere [7.918783985810551]
深層畳み込みニューラルネットワーク(CNN)を用いたデータ駆動型世界天気予報フレームワークを提案する。
このフレームワークの新しい開発には、オフラインの体積保存的マッピングから立方体球格子へのマッピングが含まれる。
我々のモデルでは、入力された大気状態の少ない変数から複雑な表面温度パターンを予測することができる。
論文 参考訳(メタデータ) (2020-03-15T19:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。