論文の概要: Scaling transformer neural networks for skillful and reliable
medium-range weather forecasting
- arxiv url: http://arxiv.org/abs/2312.03876v1
- Date: Wed, 6 Dec 2023 19:46:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:49:36.430365
- Title: Scaling transformer neural networks for skillful and reliable
medium-range weather forecasting
- Title（参考訳）: 高度で信頼性の高い中距離気象予報のためのスケーリングトランスニューラルネットワーク
- Authors: Tung Nguyen, Rohan Shah, Hritik Bansal, Troy Arcomano, Sandeep
Madireddy, Romit Maulik, Veerabhadra Kotamarthi, Ian Foster, Aditya Grover
- Abstract要約: 本稿では,標準変圧器バックボーンの変更を最小限に抑えつつ,気象予報の最先端性能であるStormerを紹介する。
Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。
ウェザーベンチ2では、ストーマーは短距離から中距離の予測で競争力を発揮し、現在の手法を7日を超えて上回っている。
- 参考スコア（独自算出の注目度）: 24.02355555479722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weather forecasting is a fundamental problem for anticipating and mitigating
the impacts of climate change. Recently, data-driven approaches for weather
forecasting based on deep learning have shown great promise, achieving
accuracies that are competitive with operational systems. However, those
methods often employ complex, customized architectures without sufficient
ablation analysis, making it difficult to understand what truly contributes to
their success. Here we introduce Stormer, a simple transformer model that
achieves state-of-the-art performance on weather forecasting with minimal
changes to the standard transformer backbone. We identify the key components of
Stormer through careful empirical analyses, including weather-specific
embedding, randomized dynamics forecast, and pressure-weighted loss. At the
core of Stormer is a randomized forecasting objective that trains the model to
forecast the weather dynamics over varying time intervals. During inference,
this allows us to produce multiple forecasts for a target lead time and combine
them to obtain better forecast accuracy. On WeatherBench 2, Stormer performs
competitively at short to medium-range forecasts and outperforms current
methods beyond 7 days, while requiring orders-of-magnitude less training data
and compute. Additionally, we demonstrate Stormer's favorable scaling
properties, showing consistent improvements in forecast accuracy with increases
in model size and training tokens. Code and checkpoints will be made publicly
available.
- Abstract（参考訳）: 気象予報は気候変動の影響を予測し緩和するための根本的な問題である。
近年,深層学習に基づく気象予報のためのデータ駆動型アプローチは,運用システムと競合する精度を達成し,大きな可能性を秘めている。
しかし、これらの手法は十分にアブレーション分析をすることなく複雑でカスタマイズされたアーキテクチャを採用することが多く、その成功に真に寄与するものを理解することは困難である。
本稿では,標準トランスフォーマーバックボーンの変更を最小限にして,天気予報の最先端性能を実現する簡易トランスフォーマーモデルであるstormerを紹介する。
気象固有組込み,ランダム化ダイナミクス予測,圧力重み付け損失など,注意深い実験分析を通じてストーマーの重要な構成要素を同定した。
Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。
推論中、ターゲットリードタイムの複数の予測を生成し、それらを組み合わせて予測精度を向上させることができる。
weatherbench 2では、stormerは短距離から中距離の予測で競争力を保ち、現在のメソッドを7日間以上上回りながら、トレーニングデータと計算の桁違いを要求される。
さらに,モデルサイズとトレーニングトークンの増加による予測精度の一貫した向上を示すとともに,stormerの優れたスケーリング特性を示す。
コードとチェックポイントは公開される予定だ。
関連論文リスト
- Lightning-Fast Convective Outlooks: Predicting Severe Convective Environments with Global AI-based Weather Models [0.08271752505511926]
激しい対流嵐は最も危険な気象現象であり、正確な予測は影響を緩和する。
最近リリースされたAIベースの天気モデルスイートは、中距離の予測を数秒で生成する。
本稿では,再解析とECMWFの運用数値天気予報モデルISSに対して,対流パラメータを対象とした3つのAIモデルの予測能力を評価する。
論文 参考訳（メタデータ） (2024-06-13T07:46:03Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳（メタデータ） (2024-02-02T10:34:13Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-11-30T08:22:08Z) - Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。
我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。
我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-02T17:13:16Z) - SEEDS: Emulation of Weather Forecast Ensembles with Diffusion Models [13.331224394143117]
不確かさの定量化は意思決定に不可欠である。
天気予報の不確実性を表す主要なアプローチは、予測の集合を生成することです。
本稿では,これらの予測を歴史的データから学習した深部生成拡散モデルを用いてエミュレートし,計算コストを補正することを提案する。
論文 参考訳（メタデータ） (2023-06-24T22:00:06Z) - GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。
全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。
我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-12-24T18:15:39Z) - Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global
Weather Forecast [91.9372563527801]
我々は,世界天気予報を迅速かつ高精度に予測するためのディープラーニングベースのシステムであるPangu-Weatherを紹介する。
初めてAIベースの手法が、最先端の数値天気予報法(NWP)を精度で上回った。
Pangu-Weatherは、極端な天気予報や大規模なアンサンブル予測など、幅広い下流予測シナリオをサポートしている。
論文 参考訳（メタデータ） (2022-11-03T17:19:43Z) - Short-term precipitation prediction using deep learning [5.1589108738893215]
気象フィールドの1つのフレームを用いた3次元畳み込みニューラルネットワークは降水空間分布を予測することができることを示す。
このネットワークは、気象学の39年 (1980-2018) のデータと、連続した米国上空の毎日の降水に基づいて開発されている。
論文 参考訳（メタデータ） (2021-10-05T06:37:24Z) - Accurate and Clear Precipitation Nowcasting with Consecutive Attention
and Rain-map Discrimination [11.686939430992966]
本稿では,降水流の識別と注意の両方を含む新しい深層学習モデルを提案する。
このモデルは、レーダーデータと実際の雨データの両方を含む、新しく構築されたベンチマークデータセットで検討される。
論文 参考訳（メタデータ） (2021-02-16T14:22:54Z) - A generative adversarial network approach to (ensemble) weather
prediction [91.3755431537592]
本研究では,500hPaの圧力レベル,2m温度,24時間の総降水量を予測するために,条件付き深部畳み込み生成対向ネットワークを用いた。
提案されたモデルは、2019年に関連する気象分野を予測することを目的として、2015年から2018年までの4年間のERA5の再分析データに基づいて訓練されている。
論文 参考訳（メタデータ） (2020-06-13T20:53:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。