論文の概要: Scaling transformer neural networks for skillful and reliable medium-range weather forecasting

• arxiv url: http://arxiv.org/abs/2312.03876v2
• Date: Tue, 22 Oct 2024 06:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:46.180404
• Title: Scaling transformer neural networks for skillful and reliable medium-range weather forecasting
• Title（参考訳）: 高度で信頼性の高い中距離天気予報のための変圧器ニューラルネットワークのスケーリング
• Authors: Tung Nguyen, Rohan Shah, Hritik Bansal, Troy Arcomano, Romit Maulik, Veerabhadra Kotamarthi, Ian Foster, Sandeep Madireddy, Aditya Grover,
• Abstract要約: 本稿では,標準変圧器バックボーンの変更を最小限に抑えつつ,気象予報の最先端性能であるStormerを紹介する。 Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。 ウェザーベンチ2では、ストーマーは短距離から中距離の予測で競争力を発揮し、現在の手法を7日を超えて上回っている。
• 参考スコア（独自算出の注目度）: 23.249955524044392
• License:
• Abstract: Weather forecasting is a fundamental problem for anticipating and mitigating the impacts of climate change. Recently, data-driven approaches for weather forecasting based on deep learning have shown great promise, achieving accuracies that are competitive with operational systems. However, those methods often employ complex, customized architectures without sufficient ablation analysis, making it difficult to understand what truly contributes to their success. Here we introduce Stormer, a simple transformer model that achieves state-of-the-art performance on weather forecasting with minimal changes to the standard transformer backbone. We identify the key components of Stormer through careful empirical analyses, including weather-specific embedding, randomized dynamics forecast, and pressure-weighted loss. At the core of Stormer is a randomized forecasting objective that trains the model to forecast the weather dynamics over varying time intervals. During inference, this allows us to produce multiple forecasts for a target lead time and combine them to obtain better forecast accuracy. On WeatherBench 2, Stormer performs competitively at short to medium-range forecasts and outperforms current methods beyond 7 days, while requiring orders-of-magnitude less training data and compute. Additionally, we demonstrate Stormer's favorable scaling properties, showing consistent improvements in forecast accuracy with increases in model size and training tokens. Code and checkpoints are available at https://github.com/tung-nd/stormer.
• Abstract（参考訳）: 気象予報は気候変動の影響を予測し緩和するための根本的な問題である。 近年,ディープラーニングに基づく天気予報のためのデータ駆動型アプローチは,運用システムと競合するアキュラシーを達成し,大きな可能性を秘めている。 しかし、これらの手法は十分なアブレーション分析を行なわずに複雑でカスタマイズされたアーキテクチャを採用しており、その成功に何が本当に貢献するかを理解することは困難である。 ここでは,標準的な変圧器バックボーンの変更を最小限に抑えつつ,気象予報における最先端性能を実現する,シンプルな変圧器モデルであるStormerを紹介する。 ストーマーの重要な要素は、気象固有の埋め込み、ランダム化されたダイナミクス予測、圧力重み付き損失など、慎重に実験的な分析によって特定する。 Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。 推論中、ターゲットのリードタイムに対して複数の予測を生成し、それらを組み合わせて予測精度を向上させることができる。 WeatherBench 2では、Stormerは短期から中程度の予測で競争力を発揮し、現在の手法を7日以内で上回る。 さらに、Stormerの好ましいスケーリング特性を実証し、モデルサイズやトレーニングトークンの増加とともに予測精度が一貫した改善を示した。 コードとチェックポイントはhttps://github.com/tung-nd/stormer.comで入手できる。

関連論文リスト

• Lightning-Fast Convective Outlooks: Predicting Severe Convective Environments with Global AI-based Weather Models [0.08271752505511926]
  激しい対流嵐は最も危険な気象現象であり、正確な予測は影響を緩和する。 最近リリースされたAIベースの天気モデルスイートは、中距離の予測を数秒で生成する。 本稿では,再解析とECMWFの運用数値天気予報モデルISSに対して,対流パラメータを対象とした3つのAIモデルの予測能力を評価する。
  論文  参考訳（メタデータ） (2024-06-13T07:46:03Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
  ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。 我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。 我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:13:16Z)
• SEEDS: Emulation of Weather Forecast Ensembles with Diffusion Models [13.331224394143117]
  不確かさの定量化は意思決定に不可欠である。 天気予報の不確実性を表す主要なアプローチは、予測の集合を生成することです。 本稿では,これらの予測を歴史的データから学習した深部生成拡散モデルを用いてエミュレートし,計算コストを補正することを提案する。
  論文  参考訳（メタデータ） (2023-06-24T22:00:06Z)
• GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
  我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。 全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。 我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-24T18:15:39Z)
• Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast [91.9372563527801]
  我々は,世界天気予報を迅速かつ高精度に予測するためのディープラーニングベースのシステムであるPangu-Weatherを紹介する。 初めてAIベースの手法が、最先端の数値天気予報法(NWP)を精度で上回った。 Pangu-Weatherは、極端な天気予報や大規模なアンサンブル予測など、幅広い下流予測シナリオをサポートしている。
  論文  参考訳（メタデータ） (2022-11-03T17:19:43Z)
• Short-term precipitation prediction using deep learning [5.1589108738893215]
  気象フィールドの1つのフレームを用いた3次元畳み込みニューラルネットワークは降水空間分布を予測することができることを示す。 このネットワークは、気象学の39年 (1980-2018) のデータと、連続した米国上空の毎日の降水に基づいて開発されている。
  論文  参考訳（メタデータ） (2021-10-05T06:37:24Z)
• Accurate and Clear Precipitation Nowcasting with Consecutive Attention and Rain-map Discrimination [11.686939430992966]
  本稿では,降水流の識別と注意の両方を含む新しい深層学習モデルを提案する。 このモデルは、レーダーデータと実際の雨データの両方を含む、新しく構築されたベンチマークデータセットで検討される。
  論文  参考訳（メタデータ） (2021-02-16T14:22:54Z)
• A generative adversarial network approach to (ensemble) weather prediction [91.3755431537592]
  本研究では,500hPaの圧力レベル,2m温度,24時間の総降水量を予測するために,条件付き深部畳み込み生成対向ネットワークを用いた。 提案されたモデルは、2019年に関連する気象分野を予測することを目的として、2015年から2018年までの4年間のERA5の再分析データに基づいて訓練されている。
  論文  参考訳（メタデータ） (2020-06-13T20:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。