論文の概要: ClimSim: An open large-scale dataset for training high-resolution physics emulators in hybrid multi-scale climate simulators

• arxiv url: http://arxiv.org/abs/2306.08754v3
• Date: Wed, 6 Sep 2023 22:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 17:08:22.788567
• Title: ClimSim: An open large-scale dataset for training high-resolution physics emulators in hybrid multi-scale climate simulators
• Title（参考訳）: ClimSim:ハイブリッドマルチスケール気候シミュレータにおける高分解能物理エミュレータのトレーニングのためのオープンな大規模データセット
• Authors: Sungduk Yu, Walter M. Hannah, Liran Peng, Jerry Lin, Mohamed Aziz Bhouri, Ritwik Gupta, Bj\"orn L\"utjens, Justus C. Will, Gunnar Behrens, Julius J. M. Busecke, Nora Loose, Charles Stern, Tom Beucler, Bryce E. Harrop, Benjamin R. Hilman, Andrea M. Jenney, Savannah L. Ferretti, Nana Liu, Anima Anandkumar, Noah D. Brenowitz, Veronika Eyring, Nicholas Geneva, Pierre Gentine, Stephan Mandt, Jaideep Pathak, Akshay Subramaniam, Carl Vondrick, Rose Yu, Laure Zanna, Tian Zheng, Ryan P. Abernathey, Fiaz Ahmed, David C. Bader, Pierre Baldi, Elizabeth A. Barnes, Christopher S. Bretherton, Peter M. Caldwell, Wayne Chuang, Yilun Han, Yu Huang, Fernando Iglesias-Suarez, Sanket Jantre, Karthik Kashinath, Marat Khairoutdinov, Thorsten Kurth, Nicholas J. Lutsko, Po-Lun Ma, Griffin Mooers, J. David Neelin, David A. Randall, Sara Shamekh, Mark A. Taylor, Nathan M. Urban, Janni Yuval, Guang J. Zhang, Michael S. Pritchard
• Abstract要約: ClimSimは、ハイブリッドML物理研究のために設計された、史上最大のデータセットである。 気候科学者とML研究者のコンソーシアムによって開発されたマルチスケールの気候シミュレーションを含んでいる。 データセットはグローバルにカバーされており、高サンプリング頻度で何年にもわたる。
• 参考スコア（独自算出の注目度）: 89.82843851710186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern climate projections lack adequate spatial and temporal resolution due to computational constraints. A consequence is inaccurate and imprecise predictions of critical processes such as storms. Hybrid methods that combine physics with machine learning (ML) have introduced a new generation of higher fidelity climate simulators that can sidestep Moore's Law by outsourcing compute-hungry, short, high-resolution simulations to ML emulators. However, this hybrid ML-physics simulation approach requires domain-specific treatment and has been inaccessible to ML experts because of lack of training data and relevant, easy-to-use workflows. We present ClimSim, the largest-ever dataset designed for hybrid ML-physics research. It comprises multi-scale climate simulations, developed by a consortium of climate scientists and ML researchers. It consists of 5.7 billion pairs of multivariate input and output vectors that isolate the influence of locally-nested, high-resolution, high-fidelity physics on a host climate simulator's macro-scale physical state. The dataset is global in coverage, spans multiple years at high sampling frequency, and is designed such that resulting emulators are compatible with downstream coupling into operational climate simulators. We implement a range of deterministic and stochastic regression baselines to highlight the ML challenges and their scoring. The data (https://huggingface.co/datasets/LEAP/ClimSim_high-res, https://huggingface.co/datasets/LEAP/ClimSim_low-res, and https://huggingface.co/datasets/LEAP/ClimSim_low-res_aqua-planet) and code (https://leap-stc.github.io/ClimSim) are released openly to support the development of hybrid ML-physics and high-fidelity climate simulations for the benefit of science and society.
• Abstract（参考訳）: 現代の気候予測は、計算の制約による空間的および時間的解決が不十分である。 その結果は、嵐のような臨界過程の不正確で不正確な予測である。 物理と機械学習(ML)を組み合わせたハイブリッドな手法は、新しい世代の高忠実度気候シミュレータを導入し、計算ハングリーで短い高解像度のシミュレーションをMLエミュレータにアウトソーシングすることでムーアの法則を助長することができる。 しかし、このハイブリッドML-物理シミュレーションアプローチは、ドメイン固有の治療を必要としており、トレーニングデータや関連する、使いやすいワークフローがないため、MLの専門家にはアクセスできない。 ClimSimは、ハイブリッドML物理研究のために設計された、史上最大のデータセットである。 気候科学者とML研究者のコンソーシアムによって開発されたマルチスケール気候シミュレーションを含んでいる。 570億対の多変量入力および出力ベクトルからなり、ホストの気候シミュレータのマクロスケールの物理状態に対する局所ネスト、高分解能、高忠実性物理学の影響を分離する。 データセットはグローバルにカバーされており、複数年にわたってサンプリング頻度が高く、結果としてエミュレータがダウンストリーム結合と互換性を持つように設計されている。 我々は,MLの課題とその得点を明らかにするために,決定論的および確率的回帰ベースラインを実装した。 データ(https://huggingface.co/datasets/LEAP/ClimSim_high-res, https://huggingface.co/datasets/LEAP/ClimSim_low-res, https://huggingface.co/datasets/LEAP/ClimSim_low-res_aqua-planet)とコード(https://leap-stc.github.io/ClimSim)は、ML-物理と高忠実な気候シミュレーションのハイブリッド開発をサポートするために、オープンソースとしてリリースされた。

関連論文リスト

• Cosmological Analysis with Calibrated Neural Quantile Estimation and Approximate Simulators [0.0]
  我々は,多数の近似シミュレーションをトレーニングに利用し,少数の高忠実度シミュレーションをキャリブレーションに利用した新しいシミュレーションベース推論(SBI)手法を提案する。 概念の証明として、2次元暗黒物質密度写像から、z=0$で$k_rm maxsim1.5,h$/Mpcまでの距離で宇宙的パラメータを推定できることが示される。 キャリブレーション後部は、$sim104$ expensive Particle-Particle (PP) シミュレーションの直接トレーニングにより得られたものとよく一致するが、計算コストのごく一部で一致する。
  論文  参考訳（メタデータ） (2024-11-22T05:53:46Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Efficient Climate Simulation via Machine Learning Method [21.894503534237664]
  我々は,実世界のシナリオ下でのハイブリッドモデリングのためのNeuroClimというフレームワークを開発した。 NeuroClimは、(1)プラットフォーム、(2)データセット、(3)メトリクスの3つの部分から構成される。
  論文  参考訳（メタデータ） (2022-08-15T07:47:38Z)
• Learning Large-scale Subsurface Simulations with a Hybrid Graph Network Simulator [57.57321628587564]
  本研究では3次元地下流体の貯留層シミュレーションを学習するためのハイブリッドグラフネットワークシミュレータ (HGNS) を提案する。 HGNSは、流体の進化をモデル化する地下グラフニューラルネットワーク(SGNN)と、圧力の進化をモデル化する3D-U-Netで構成されている。 産業標準地下フローデータセット(SPE-10)と1100万セルを用いて,HGNSが標準地下シミュレータの18倍の推算時間を短縮できることを実証した。
  論文  参考訳（メタデータ） (2022-06-15T17:29:57Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• ClimART: A Benchmark Dataset for Emulating Atmospheric Radiative Transfer in Weather and Climate Models [13.514499533538789]
  我々はClimARTという大規模なデータセットを構築し、現在の、工業以前の、将来の気候条件から、カナダ地球系モデルに基づいて、Emph10万以上のサンプルを収集した。 ClimARTは、複数のアウト・オブ・ディストリビューションテストセット、基礎となるドメイン物理学、精度と推論速度のトレードオフなど、MLコミュニティにいくつかの方法論上の課題を提起している。 また、以前の作業で使用されるデータセットとネットワークアーキテクチャの欠点を示す新しいベースラインをいくつか提示する。
  論文  参考訳（メタデータ） (2021-11-29T16:32:31Z)
• Using Machine Learning at Scale in HPC Simulations with SmartSim: An Application to Ocean Climate Modeling [52.77024349608834]
  We demonstrate the first climate-scale, numerical ocean Simulations improve through distributed, online inference of Deep Neural Networks (DNN) using SmartSim。 SmartSimは、従来のHPCシミュレーションのためのオンライン分析と機械学習(ML)を可能にするためのライブラリです。
  論文  参考訳（メタデータ） (2021-04-13T19:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。