論文の概要: HEAL-ViT: Vision Transformers on a spherical mesh for medium-range weather forecasting
- arxiv url: http://arxiv.org/abs/2403.17016v1
- Date: Wed, 14 Feb 2024 22:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 02:44:33.686815
- Title: HEAL-ViT: Vision Transformers on a spherical mesh for medium-range weather forecasting
- Title(参考訳): HEAL-ViT:中距離気象予報用球面メッシュ上の視覚変換器
- Authors: Vivek Ramavajjala,
- Abstract要約: 球面メッシュ上でのViTモデルを用いた新しいアーキテクチャであるHEAL-ViTを提案する。
HEAL-ViTは、主要な指標でECMWF IFSを上回った天気予報を生成する。
- 参考スコア(独自算出の注目度): 0.14504054468850663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, a variety of ML architectures and techniques have seen success in producing skillful medium range weather forecasts. In particular, Vision Transformer (ViT)-based models (e.g. Pangu-Weather, FuXi) have shown strong performance, working nearly "out-of-the-box" by treating weather data as a multi-channel image on a rectilinear grid. While a rectilinear grid is appropriate for 2D images, weather data is inherently spherical and thus heavily distorted at the poles on a rectilinear grid, leading to disproportionate compute being used to model data near the poles. Graph-based methods (e.g. GraphCast) do not suffer from this problem, as they map the longitude-latitude grid to a spherical mesh, but are generally more memory intensive and tend to need more compute resources for training and inference. While spatially homogeneous, the spherical mesh does not lend itself readily to be modeled by ViT-based models that implicitly rely on the rectilinear grid structure. We present HEAL-ViT, a novel architecture that uses ViT models on a spherical mesh, thus benefiting from both the spatial homogeneity enjoyed by graph-based models and efficient attention-based mechanisms exploited by transformers. HEAL-ViT produces weather forecasts that outperform the ECMWF IFS on key metrics, and demonstrate better bias accumulation and blurring than other ML weather prediction models. Further, the lowered compute footprint of HEAL-ViT makes it attractive for operational use as well, where other models in addition to a 6-hourly prediction model may be needed to produce the full set of operational forecasts required.
- Abstract(参考訳): 近年、様々なMLアーキテクチャや技術が、熟練した中距離天気予報の製作に成功している。
特に、ViTベースのモデル(例えば、Pangu-Weather、FuXi)は、気象データをリチ線形グリッド上のマルチチャネル画像として扱うことで、ほぼ「アウト・オブ・ザ・ボックス」で動作するなど、強い性能を示している。
リチリニアグリッドは2次元画像に適しているが、気象データは本質的に球状であり、リチリニアグリッド上の極に大きく歪められているため、極付近のデータをモデル化するために使われる不均質な計算に繋がる。
グラフベースのメソッド(例えばGraphCast)は、経度緯度格子を球面メッシュにマッピングするので、この問題に苦しむことはないが、一般的にはメモリ集約であり、トレーニングや推論により多くの計算リソースを必要とする傾向にある。
空間的に均質であるが、球面メッシュは直交格子構造に暗黙的に依存するViTベースのモデルによって容易にモデル化されるわけではない。
そこで我々は, グラフベースモデルによる空間的均一性と, トランスフォーマーによる効率的な注意に基づくメカニズムの両面から, ViT モデルを用いた新しいアーキテクチャ HEAL-ViT を提案する。
HEAL-ViTは、主要な指標でECMWF IFSを上回った天気予報を生成し、他のML天気予報モデルよりも優れたバイアス蓄積とぼやけを示す。
さらに、HEAL-ViTの計算フットプリントを下げることで、他のモデルに加えて6時間予測モデルが必要であり、必要な運用予測の完全なセットを生成することができる。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure
Graph Perspective [48.00240550685946]
現在の最先端グラフニューラルネットワーク(GNN)ベースの予測手法は、通常、シリーズ間(空間)のダイナミックスとシリーズ内(時間)の依存関係をキャプチャするために、グラフネットワーク(GCNなど)と時間ネットワーク(LSTMなど)の両方を必要とする。
提案するフーリエグラフ演算子(FGO)を積み重ねて,フーリエ空間で行列乗算を行うことにより,新しいフーリエグラフニューラルネットワーク(FourierGNN)を提案する。
7つのデータセットに対する実験は、より効率が良く、パラメータも少ないという優れた性能を示した。
論文 参考訳(メタデータ) (2023-11-10T17:13:26Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳(メタデータ) (2023-01-24T23:19:01Z) - Learning Large-scale Subsurface Simulations with a Hybrid Graph Network
Simulator [57.57321628587564]
本研究では3次元地下流体の貯留層シミュレーションを学習するためのハイブリッドグラフネットワークシミュレータ (HGNS) を提案する。
HGNSは、流体の進化をモデル化する地下グラフニューラルネットワーク(SGNN)と、圧力の進化をモデル化する3D-U-Netで構成されている。
産業標準地下フローデータセット(SPE-10)と1100万セルを用いて,HGNSが標準地下シミュレータの18倍の推算時間を短縮できることを実証した。
論文 参考訳(メタデータ) (2022-06-15T17:29:57Z) - A physics and data co-driven surrogate modeling approach for temperature
field prediction on irregular geometric domain [12.264200001067797]
本研究では, 温度場予測のための新しい物理・データ共駆動サロゲートモデリング法を提案する。
数値計算により,本手法はより小さなデータセット上での精度予測を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2022-03-15T08:43:24Z) - GTrans: Spatiotemporal Autoregressive Transformer with Graph Embeddings
for Nowcasting Extreme Events [5.672898304129217]
本稿では,データ特徴をグラフ埋め込みに変換し,テンポラルダイナミクスをトランスフォーマーモデルで予測する時間モデルGTransを提案する。
我々の実験によると、GTransは空間的および時間的ダイナミクスをモデル化し、データセットの極端なイベントを放送することができる。
論文 参考訳(メタデータ) (2022-01-18T03:26:24Z) - Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。
本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。
特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
論文 参考訳(メタデータ) (2021-04-06T01:44:15Z) - GraphTCN: Spatio-Temporal Interaction Modeling for Human Trajectory
Prediction [5.346782918364054]
我々は,より効率的かつ正確な軌道予測を支援するために,新しいCNNベースの時空間グラフフレームワークGraphCNTを提案する。
従来のモデルとは対照的に,我々のモデルにおける空間的・時間的モデリングは各局所時間ウィンドウ内で計算される。
本モデルは,様々な軌道予測ベンチマークデータセットの最先端モデルと比較して,効率と精度の両面で優れた性能を実現する。
論文 参考訳(メタデータ) (2020-03-16T12:56:12Z) - Improving data-driven global weather prediction using deep convolutional
neural networks on a cubed sphere [7.918783985810551]
深層畳み込みニューラルネットワーク(CNN)を用いたデータ駆動型世界天気予報フレームワークを提案する。
このフレームワークの新しい開発には、オフラインの体積保存的マッピングから立方体球格子へのマッピングが含まれる。
我々のモデルでは、入力された大気状態の少ない変数から複雑な表面温度パターンを予測することができる。
論文 参考訳(メタデータ) (2020-03-15T19:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。