論文の概要: ClimSim-Online: A Large Multi-scale Dataset and Framework for Hybrid ML-physics Climate Emulation
- arxiv url: http://arxiv.org/abs/2306.08754v6
- Date: Mon, 8 Jul 2024 19:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 00:40:48.402509
- Title: ClimSim-Online: A Large Multi-scale Dataset and Framework for Hybrid ML-physics Climate Emulation
- Title（参考訳）: ClimSim-Online: ハイブリッドML物理気候エミュレーションのための大規模マルチスケールデータセットとフレームワーク
- Authors: Sungduk Yu, Zeyuan Hu, Akshay Subramaniam, Walter Hannah, Liran Peng, Jerry Lin, Mohamed Aziz Bhouri, Ritwik Gupta, Björn Lütjens, Justus C. Will, Gunnar Behrens, Julius J. M. Busecke, Nora Loose, Charles I. Stern, Tom Beucler, Bryce Harrop, Helge Heuer, Benjamin R. Hillman, Andrea Jenney, Nana Liu, Alistair White, Tian Zheng, Zhiming Kuang, Fiaz Ahmed, Elizabeth Barnes, Noah D. Brenowitz, Christopher Bretherton, Veronika Eyring, Savannah Ferretti, Nicholas Lutsko, Pierre Gentine, Stephan Mandt, J. David Neelin, Rose Yu, Laure Zanna, Nathan Urban, Janni Yuval, Ryan Abernathey, Pierre Baldi, Wayne Chuang, Yu Huang, Fernando Iglesias-Suarez, Sanket Jantre, Po-Lun Ma, Sara Shamekh, Guang Zhang, Michael Pritchard,
- Abstract要約: 我々は、ハイブリッドML物理シミュレータを開発するためのエンドツーエンドワークフローを含むClimSim-Onlineを提案する。
データセットはグローバルで、高いサンプリング頻度で10年間にわたっています。
MLモデルを運用環境シミュレータに統合するための、クロスプラットフォームでコンテナ化されたパイプラインを提供します。
- 参考スコア（独自算出の注目度）: 45.201929285600606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern climate projections lack adequate spatial and temporal resolution due to computational constraints, leading to inaccuracies in representing critical processes like thunderstorms that occur on the sub-resolution scale. Hybrid methods combining physics with machine learning (ML) offer faster, higher fidelity climate simulations by outsourcing compute-hungry, high-resolution simulations to ML emulators. However, these hybrid ML-physics simulations require domain-specific data and workflows that have been inaccessible to many ML experts. As an extension of the ClimSim dataset (Yu et al., 2024), we present ClimSim-Online, which also includes an end-to-end workflow for developing hybrid ML-physics simulators. The ClimSim dataset includes 5.7 billion pairs of multivariate input/output vectors, capturing the influence of high-resolution, high-fidelity physics on a host climate simulator's macro-scale state. The dataset is global and spans ten years at a high sampling frequency. We provide a cross-platform, containerized pipeline to integrate ML models into operational climate simulators for hybrid testing. We also implement various ML baselines, alongside a hybrid baseline simulator, to highlight the ML challenges of building stable, skillful emulators. The data (https://huggingface.co/datasets/LEAP/ClimSim_high-res) and code (https://leap-stc.github.io/ClimSim and https://github.com/leap-stc/climsim-online) are publicly released to support the development of hybrid ML-physics and high-fidelity climate simulations.
- Abstract（参考訳）: 現代の気候予測は、計算上の制約による適切な空間的および時間的解決を欠いているため、サブ解像度スケールで発生する雷雨のような臨界過程を表現する不正確な結果となった。
物理と機械学習(ML)を組み合わせたハイブリッドな手法は、高速で高忠実な気候シミュレーションを提供し、計算空調、高解像度のシミュレーションをMLエミュレータにアウトソーシングする。
しかし、これらのハイブリッドML物理シミュレーションは、多くのML専門家がアクセスできないドメイン固有のデータとワークフローを必要とする。
ClimSimデータセットの拡張(Yu et al , 2024)として、ハイブリッドML-物理シミュレータを開発するためのエンドツーエンドワークフローを含むClimSim-Onlineを紹介する。
ClimSimデータセットには570億の多変量入力/出力ベクトルが含まれており、ホスト気候シミュレータのマクロスケール状態に対する高分解能、高忠実度物理学の影響を捉えている。
データセットはグローバルで、高いサンプリング頻度で10年間にわたっています。
ハイブリッドテストのための運用環境シミュレータにMLモデルを統合するための、クロスプラットフォームでコンテナ化されたパイプラインを提供します。
また,各種MLベースラインとハイブリッドベースラインシミュレータを実装し,安定で熟練したエミュレータを構築する上でのMLの課題を強調した。
データ(https://huggingface.co/datasets/LEAP/ClimSim_high-res)とコード(https://leap-stc.github.io/ClimSimとhttps://github.com/leap-stc/climsim-online)は、ハイブリッドML物理と高忠実度気候シミュレーションの開発をサポートするために公開されている。
関連論文リスト
- Cosmological Analysis with Calibrated Neural Quantile Estimation and Approximate Simulators [0.0]
我々は,多数の近似シミュレーションをトレーニングに利用し,少数の高忠実度シミュレーションをキャリブレーションに利用した新しいシミュレーションベース推論(SBI)手法を提案する。
概念の証明として、2次元暗黒物質密度写像から、z=0$で$k_rm maxsim1.5,h$/Mpcまでの距離で宇宙的パラメータを推定できることが示される。
キャリブレーション後部は、$sim104$ expensive Particle-Particle (PP) シミュレーションの直接トレーニングにより得られたものとよく一致するが、計算コストのごく一部で一致する。
論文 参考訳（メタデータ） (2024-11-22T05:53:46Z) - Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous
Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。
TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。
我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-10-12T20:49:15Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳（メタデータ） (2023-06-22T14:07:54Z) - Efficient Climate Simulation via Machine Learning Method [21.894503534237664]
我々は,実世界のシナリオ下でのハイブリッドモデリングのためのNeuroClimというフレームワークを開発した。
NeuroClimは、(1)プラットフォーム、(2)データセット、(3)メトリクスの3つの部分から構成される。
論文 参考訳（メタデータ） (2022-08-15T07:47:38Z) - Learning Large-scale Subsurface Simulations with a Hybrid Graph Network
Simulator [57.57321628587564]
本研究では3次元地下流体の貯留層シミュレーションを学習するためのハイブリッドグラフネットワークシミュレータ (HGNS) を提案する。
HGNSは、流体の進化をモデル化する地下グラフニューラルネットワーク(SGNN)と、圧力の進化をモデル化する3D-U-Netで構成されている。
産業標準地下フローデータセット(SPE-10)と1100万セルを用いて,HGNSが標準地下シミュレータの18倍の推算時間を短縮できることを実証した。
論文 参考訳（メタデータ） (2022-06-15T17:29:57Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳（メタデータ） (2022-06-10T04:54:13Z) - ClimART: A Benchmark Dataset for Emulating Atmospheric Radiative
Transfer in Weather and Climate Models [13.514499533538789]
我々はClimARTという大規模なデータセットを構築し、現在の、工業以前の、将来の気候条件から、カナダ地球系モデルに基づいて、Emph10万以上のサンプルを収集した。
ClimARTは、複数のアウト・オブ・ディストリビューションテストセット、基礎となるドメイン物理学、精度と推論速度のトレードオフなど、MLコミュニティにいくつかの方法論上の課題を提起している。
また、以前の作業で使用されるデータセットとネットワークアーキテクチャの欠点を示す新しいベースラインをいくつか提示する。
論文 参考訳（メタデータ） (2021-11-29T16:32:31Z) - Using Machine Learning at Scale in HPC Simulations with SmartSim: An
Application to Ocean Climate Modeling [52.77024349608834]
We demonstrate the first climate-scale, numerical ocean Simulations improve through distributed, online inference of Deep Neural Networks (DNN) using SmartSim。
SmartSimは、従来のHPCシミュレーションのためのオンライン分析と機械学習(ML)を可能にするためのライブラリです。
論文 参考訳（メタデータ） (2021-04-13T19:27:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。