論文の概要: HEAL-ViT: Vision Transformers on a spherical mesh for medium-range weather forecasting
- arxiv url: http://arxiv.org/abs/2403.17016v1
- Date: Wed, 14 Feb 2024 22:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 02:44:33.686815
- Title: HEAL-ViT: Vision Transformers on a spherical mesh for medium-range weather forecasting
- Title（参考訳）: HEAL-ViT:中距離気象予報用球面メッシュ上の視覚変換器
- Authors: Vivek Ramavajjala,
- Abstract要約: 球面メッシュ上でのViTモデルを用いた新しいアーキテクチャであるHEAL-ViTを提案する。
HEAL-ViTは、主要な指標でECMWF IFSを上回った天気予報を生成する。
- 参考スコア（独自算出の注目度）: 0.14504054468850663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, a variety of ML architectures and techniques have seen success in producing skillful medium range weather forecasts. In particular, Vision Transformer (ViT)-based models (e.g. Pangu-Weather, FuXi) have shown strong performance, working nearly "out-of-the-box" by treating weather data as a multi-channel image on a rectilinear grid. While a rectilinear grid is appropriate for 2D images, weather data is inherently spherical and thus heavily distorted at the poles on a rectilinear grid, leading to disproportionate compute being used to model data near the poles. Graph-based methods (e.g. GraphCast) do not suffer from this problem, as they map the longitude-latitude grid to a spherical mesh, but are generally more memory intensive and tend to need more compute resources for training and inference. While spatially homogeneous, the spherical mesh does not lend itself readily to be modeled by ViT-based models that implicitly rely on the rectilinear grid structure. We present HEAL-ViT, a novel architecture that uses ViT models on a spherical mesh, thus benefiting from both the spatial homogeneity enjoyed by graph-based models and efficient attention-based mechanisms exploited by transformers. HEAL-ViT produces weather forecasts that outperform the ECMWF IFS on key metrics, and demonstrate better bias accumulation and blurring than other ML weather prediction models. Further, the lowered compute footprint of HEAL-ViT makes it attractive for operational use as well, where other models in addition to a 6-hourly prediction model may be needed to produce the full set of operational forecasts required.
- Abstract（参考訳）: 近年、様々なMLアーキテクチャや技術が、熟練した中距離天気予報の製作に成功している。
特に、ViTベースのモデル(例えば、Pangu-Weather、FuXi)は、気象データをリチ線形グリッド上のマルチチャネル画像として扱うことで、ほぼ「アウト・オブ・ザ・ボックス」で動作するなど、強い性能を示している。
リチリニアグリッドは2次元画像に適しているが、気象データは本質的に球状であり、リチリニアグリッド上の極に大きく歪められているため、極付近のデータをモデル化するために使われる不均質な計算に繋がる。
グラフベースのメソッド(例えばGraphCast)は、経度緯度格子を球面メッシュにマッピングするので、この問題に苦しむことはないが、一般的にはメモリ集約であり、トレーニングや推論により多くの計算リソースを必要とする傾向にある。
空間的に均質であるが、球面メッシュは直交格子構造に暗黙的に依存するViTベースのモデルによって容易にモデル化されるわけではない。
そこで我々は, グラフベースモデルによる空間的均一性と, トランスフォーマーによる効率的な注意に基づくメカニズムの両面から, ViT モデルを用いた新しいアーキテクチャ HEAL-ViT を提案する。
HEAL-ViTは、主要な指標でECMWF IFSを上回った天気予報を生成し、他のML天気予報モデルよりも優れたバイアス蓄積とぼやけを示す。
さらに、HEAL-ViTの計算フットプリントを下げることで、他のモデルに加えて6時間予測モデルが必要であり、必要な運用予測の完全なセットを生成することができる。
関連論文リスト
- Exploring the Use of Machine Learning Weather Models in Data Assimilation [0.0]
GraphCastとNeuralGCMは、MLベースの有望な2つの気象モデルであるが、データ同化への適合性はまだ未定である。
GraphCast と NeuralGCM の TL/AD 結果と,既存の数値天気予報モデルである Model for Prediction Across Scales - Atmosphere (MPAS-A) との比較を行った。
GraphCastとNeuralGCMの隣り合わせの結果はMPAS-Aのものと多少似ているが、様々な垂直レベルの非物理的ノイズも示し、運用DAシステムに対する堅牢性への懸念を提起している。
論文 参考訳（メタデータ） (2024-11-22T02:18:28Z) - Gridded Transformer Neural Processes for Large Unstructured Spatio-Temporal Data [47.14384085714576]
本稿では,非構造化観測を行うための格子状擬似トークンPと,効率的な注意機構を利用する格子状擬似トークンを含むプロセッサを紹介する。
提案手法は,大規模データを含む様々な合成および実世界の回帰タスクにおいて,強いベースラインを一貫して上回る。
実生活実験は気象データに基づいて行われ、気象モデルパイプラインで大規模に適用した場合の性能と計算上の利点をもたらすアプローチの可能性を示す。
論文 参考訳（メタデータ） (2024-10-09T10:00:56Z) - Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。
具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。
我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
論文 参考訳（メタデータ） (2024-05-22T16:21:02Z) - FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure
Graph Perspective [48.00240550685946]
現在の最先端グラフニューラルネットワーク(GNN)ベースの予測手法は、通常、シリーズ間(空間)のダイナミックスとシリーズ内(時間)の依存関係をキャプチャするために、グラフネットワーク(GCNなど)と時間ネットワーク(LSTMなど)の両方を必要とする。
提案するフーリエグラフ演算子(FGO)を積み重ねて,フーリエ空間で行列乗算を行うことにより,新しいフーリエグラフニューラルネットワーク(FourierGNN)を提案する。
7つのデータセットに対する実験は、より効率が良く、パラメータも少ないという優れた性能を示した。
論文 参考訳（メタデータ） (2023-11-10T17:13:26Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - Learning Large-scale Subsurface Simulations with a Hybrid Graph Network
Simulator [57.57321628587564]
本研究では3次元地下流体の貯留層シミュレーションを学習するためのハイブリッドグラフネットワークシミュレータ (HGNS) を提案する。
HGNSは、流体の進化をモデル化する地下グラフニューラルネットワーク(SGNN)と、圧力の進化をモデル化する3D-U-Netで構成されている。
産業標準地下フローデータセット(SPE-10)と1100万セルを用いて,HGNSが標準地下シミュレータの18倍の推算時間を短縮できることを実証した。
論文 参考訳（メタデータ） (2022-06-15T17:29:57Z) - A physics and data co-driven surrogate modeling approach for temperature
field prediction on irregular geometric domain [12.264200001067797]
本研究では, 温度場予測のための新しい物理・データ共駆動サロゲートモデリング法を提案する。
数値計算により,本手法はより小さなデータセット上での精度予測を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2022-03-15T08:43:24Z) - GTrans: Spatiotemporal Autoregressive Transformer with Graph Embeddings
for Nowcasting Extreme Events [5.672898304129217]
本稿では,データ特徴をグラフ埋め込みに変換し,テンポラルダイナミクスをトランスフォーマーモデルで予測する時間モデルGTransを提案する。
我々の実験によると、GTransは空間的および時間的ダイナミクスをモデル化し、データセットの極端なイベントを放送することができる。
論文 参考訳（メタデータ） (2022-01-18T03:26:24Z) - Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。
本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。
特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
論文 参考訳（メタデータ） (2021-04-06T01:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。