論文の概要: ClimaX: A foundation model for weather and climate

• arxiv url: http://arxiv.org/abs/2301.10343v5
• Date: Mon, 18 Dec 2023 18:16:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:01:28.535897
• Title: ClimaX: A foundation model for weather and climate
• Title（参考訳）: climax: 気象と気候の基礎モデル
• Authors: Tung Nguyen, Johannes Brandstetter, Ashish Kapoor, Jayesh K. Gupta, Aditya Grover
• Abstract要約: ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
• 参考スコア（独自算出の注目度）: 51.208269971019504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most state-of-the-art approaches for weather and climate modeling are based on physics-informed numerical models of the atmosphere. These approaches aim to model the non-linear dynamics and complex interactions between multiple variables, which are challenging to approximate. Additionally, many such numerical models are computationally intensive, especially when modeling the atmospheric phenomenon at a fine-grained spatial and temporal resolution. Recent data-driven approaches based on machine learning instead aim to directly solve a downstream forecasting or projection task by learning a data-driven functional mapping using deep neural networks. However, these networks are trained using curated and homogeneous climate datasets for specific spatiotemporal tasks, and thus lack the generality of numerical models. We develop and demonstrate ClimaX, a flexible and generalizable deep learning model for weather and climate science that can be trained using heterogeneous datasets spanning different variables, spatio-temporal coverage, and physical groundings. ClimaX extends the Transformer architecture with novel encoding and aggregation blocks that allow effective use of available compute while maintaining general utility. ClimaX is pre-trained with a self-supervised learning objective on climate datasets derived from CMIP6. The pre-trained ClimaX can then be fine-tuned to address a breadth of climate and weather tasks, including those that involve atmospheric variables and spatio-temporal scales unseen during pretraining. Compared to existing data-driven baselines, we show that this generality in ClimaX results in superior performance on benchmarks for weather forecasting and climate projections, even when pretrained at lower resolutions and compute budgets. The source code is available at https://github.com/microsoft/ClimaX.
• Abstract（参考訳）: 天気と気候のモデリングに対する最先端のアプローチのほとんどは、物理に則った大気の数値モデルに基づいている。 これらのアプローチは、近似が難しい複数の変数間の非線形ダイナミクスと複雑な相互作用をモデル化することを目的としている。 さらに、このような数値モデルの多くは、特に大気現象を微粒な空間分解能と時間分解能でモデル化する場合、計算集約的である。 機械学習に基づく最近のデータ駆動アプローチは、ディープニューラルネットワークを使用してデータ駆動機能マッピングを学習することで、下流の予測や投影タスクを直接解決することを目指している。 しかしながら、これらのネットワークは、特定の時空間的タスクのために、キュレートされた均質な気候データセットを使用して訓練されるため、数値モデルの一般化が欠如している。 さまざまな変数、時空間カバレッジ、物理的接地にまたがる不均質なデータセットを使用してトレーニング可能な、気象と気候科学のための柔軟で汎用的なディープラーニングモデルであるclimaxを開発し、実証する。 ClimaXはTransformerアーキテクチャを拡張し、汎用性を維持しながら利用可能な計算を効果的に利用できる新しいエンコーディングと集約ブロックを提供する。 ClimaXはCMIP6から派生した気候データセットの自己教師型学習目標で事前訓練されている。 事前訓練されたクライマックスは、予訓練中に大気変数や時空間スケールを含む、様々な気候や気象タスクに対処するために微調整することができる。 既存のデータ駆動ベースラインと比較して,ClimaXのこの一般化は,低解像度や計算予算で事前訓練した場合でも,天気予報や気象予報のベンチマークにおいて優れた性能を示すことを示す。 ソースコードはhttps://github.com/microsoft/ClimaXで入手できる。

関連論文リスト

• A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics [8.012940782999975]
  我々は,汎用リアルタイムデータ同化フレームワークを導入し,そのエンドツーエンド性能をFrontierスーパーコンピュータ上で実証する。 このフレームワークは、アンサンブルスコアフィルタ(EnSF)とビジョントランスフォーマーベースのサロゲートの2つの主要モジュールから構成される。 ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
  論文  参考訳（メタデータ） (2024-07-16T20:44:09Z)
• Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
  本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。 具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。 我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-22T16:21:02Z)
• ClimODE: Climate and Weather Forecasting with Physics-informed Neural ODEs [14.095897879222676]
  統計力学の重要な原理を実装した連続時間プロセスであるClimODEを提案する。 ClimODEは、値保存ダイナミクスによる正確な気象進化をモデル化し、ニューラルネットワークとしてグローバルな気象輸送を学習する。 提案手法は,大域的,地域的予測において,パラメータ化の桁違いで既存のデータ駆動手法より優れる。
  論文  参考訳（メタデータ） (2024-04-15T06:38:21Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Climate Intervention Analysis using AI Model Guided by Statistical Physics Principles [6.824166358727082]
  変動散逸理論(FDT)として知られる統計物理学の原理を応用した新しい解法を提案する。 利用することで,地球系モデルによって生成された大規模なデータセットに符号化された情報を抽出することができる。 我々のモデルであるAiBEDOは、地球および地域表面の気候に対する放射摂動の複雑なマルチタイム効果を捉えることができる。
  論文  参考訳（メタデータ） (2023-02-07T05:09:10Z)
• Deep Learning Based Cloud Cover Parameterization for ICON [55.49957005291674]
  我々は,実地域およびグローバルICONシミュレーションに基づいて,粗粒度データを用いたNNベースのクラウドカバーパラメータ化を訓練する。 グローバルに訓練されたNNは、地域シミュレーションのサブグリッドスケールのクラウドカバーを再現することができる。 我々は,コラムベースNNがグローバルから局所的な粗粒データに完全に一般化できない理由として,特定の湿度と雲氷上の過剰なエンハンシスを同定する。
  論文  参考訳（メタデータ） (2021-12-21T16:10:45Z)
• SubseasonalClimateUSA: A Dataset for Subseasonal Forecasting and Benchmarking [20.442879707675115]
  SubseasonalClimateUSAは、米国におけるサブシーズン予測モデルのトレーニングとベンチマークのための、キュレートされたデータセットである。 このデータセットを使用して、操作力学モデル、古典的気象ベースライン、最先端の機械学習10、文献からのディープラーニングベースのメソッドなど、さまざまなモデルのスイートをベンチマークします。
  論文  参考訳（メタデータ） (2021-09-21T18:42:10Z)
• Numerical Weather Forecasting using Convolutional-LSTM with Attention and Context Matcher Mechanisms [10.759556555869798]
  本稿では,高解像度気象データを予測するための新しいディープラーニングアーキテクチャを提案する。 我々の気象モデルは,ベースラインの深層学習モデルと比較して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-02-01T08:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。