論文の概要: Earthformer: Exploring Space-Time Transformers for Earth System
Forecasting
- arxiv url: http://arxiv.org/abs/2207.05833v1
- Date: Tue, 12 Jul 2022 20:52:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 11:57:20.408363
- Title: Earthformer: Exploring Space-Time Transformers for Earth System
Forecasting
- Title(参考訳): earthformer: 地球系予測のための時空変圧器の探索
- Authors: Zhihan Gao, Xingjian Shi, Hao Wang, Yi Zhu, Yuyang Wang, Mu Li,
Dit-Yan Yeung
- Abstract要約: 本研究では,地球系予測のための時空間変圧器である地球変圧器を提案する。
Transformerは、Cuboid Attentionという、汎用的で柔軟で効率的な時空アテンションブロックに基づいている。
降水量計に関する2つの実世界のベンチマークとエルニーノ/サウス・テンポシエーションの実験は、アースフォーマーが最先端のパフォーマンスを達成したことを示している。
- 参考スコア(独自算出の注目度): 27.60569643222878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventionally, Earth system (e.g., weather and climate) forecasting relies
on numerical simulation with complex physical models and are hence both
expensive in computation and demanding on domain expertise. With the explosive
growth of the spatiotemporal Earth observation data in the past decade,
data-driven models that apply Deep Learning (DL) are demonstrating impressive
potential for various Earth system forecasting tasks. The Transformer as an
emerging DL architecture, despite its broad success in other domains, has
limited adoption in this area. In this paper, we propose Earthformer, a
space-time Transformer for Earth system forecasting. Earthformer is based on a
generic, flexible and efficient space-time attention block, named Cuboid
Attention. The idea is to decompose the data into cuboids and apply
cuboid-level self-attention in parallel. These cuboids are further connected
with a collection of global vectors. We conduct experiments on the MovingMNIST
dataset and a newly proposed chaotic N-body MNIST dataset to verify the
effectiveness of cuboid attention and figure out the best design of
Earthformer. Experiments on two real-world benchmarks about precipitation
nowcasting and El Nino/Southern Oscillation (ENSO) forecasting show Earthformer
achieves state-of-the-art performance.
- Abstract(参考訳): 従来、地球システム(例えば天気と気候)の予測は複雑な物理モデルによる数値シミュレーションに依存しているため、計算コストもドメインの専門知識も高い。
過去10年間の時空間地球観測データの爆発的な成長により、深層学習(DL)を応用したデータ駆動モデルは、様々な地球系予測タスクに顕著な可能性を示している。
新たなDLアーキテクチャとしてのTransformerは、他のドメインで広く成功したにもかかわらず、この分野では限定的に採用されている。
本稿では,地球系予測のための時空変圧器であるearthformerを提案する。
Earthformerは、Cuboid Attentionという、汎用的で柔軟で効率的な時空アテンションブロックに基づいている。
データをキュービイドに分解し、キュービイドレベルの自己アテンションを並列に適用する。
これらの立方体はさらに大域ベクトルの集合と結びついている。
我々は,移動MNISTデータセットと新たに提案されたカオスN体MNISTデータセットを用いて,立方体アテンションの有効性を検証し,アースフォーマの最適設計を明らかにする。
降水に関する2つの実世界のベンチマークとエルニーノ/南方振動(ENSO)予測の実験は、アースフォーマーが最先端のパフォーマンスを達成したことを示している。
関連論文リスト
- LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳(メタデータ) (2024-02-27T03:08:44Z) - Observation-Guided Meteorological Field Downscaling at Station Scale: A
Benchmark and a New Method [66.80344502790231]
気象学的ダウンスケーリングを任意の散乱ステーションスケールに拡張し、新しいベンチマークとデータセットを確立する。
データ同化技術にインスパイアされた我々は、観測データをダウンスケーリングプロセスに統合し、マルチスケールの観測先行情報を提供する。
提案手法は、複数の曲面変数上で、他の特別に設計されたベースラインモデルよりも優れている。
論文 参考訳(メタデータ) (2024-01-22T14:02:56Z) - SSIN: Self-Supervised Learning for Rainfall Spatial Interpolation [37.212272184144]
降雨空間分析のためのデータ駆動型自己教師型学習フレームワークを提案する。
過去のデータから潜伏した空間パターンをマイニングすることで、SpaFormerは生データに対する情報埋め込みを学び、空間相関を適応的にモデル化することができる。
本手法は,2つの実世界のラリングオージデータセットの実験において,最先端のソリューションよりも優れる。
論文 参考訳(メタデータ) (2023-11-27T04:23:47Z) - Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。
我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
論文 参考訳(メタデータ) (2023-10-28T10:19:55Z) - EarthPT: a time series foundation model for Earth Observation [0.0]
我々は、地球観測(EO)事前訓練トランスであるEarthPTを紹介する。
我々は,EarthPTが将来の画素レベルの反射率を正確に予測できる効果的な予測器であることを実証した。
また,EarthPTで学習した埋め込みが意味的に意味のある情報を保持することを示す。
論文 参考訳(メタデータ) (2023-09-13T18:00:00Z) - Spatial-temporal Prompt Learning for Federated Weather Forecasting [50.379491498793485]
フェデレート気象予報は、異なる国や地域の参加者間で気象データを分析するための有望な協調学習フレームワークである。
本稿では,多くの分散型低リソースセンサを異なる場所に配置するフェデレート環境での気象データをモデル化する。
論文 参考訳(メタデータ) (2023-05-23T16:59:20Z) - A machine learning and feature engineering approach for the prediction
of the uncontrolled re-entry of space objects [1.0205541448656992]
低地球軌道(LEO)における未制御物体の再突入予測のための深層学習モデルの開発について述べる。
このモデルはSequence-to-Sequenceアーキテクチャの修正版に基づいており、400体以上のTLE(Two-Line Element)データから得られた平均高度プロファイルに基づいて訓練されている。
この研究の斬新さは、平均高度とともに、ドラッグライクな係数(B*)、平均太陽指数、物体の面積と質量比の3つの新しい入力特徴を含むディープラーニングモデルの導入である。
論文 参考訳(メタデータ) (2023-03-17T13:53:59Z) - Predictive World Models from Real-World Partial Observations [66.80340484148931]
本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。
従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
論文 参考訳(メタデータ) (2023-01-12T02:07:26Z) - Toward Foundation Models for Earth Monitoring: Proposal for a Climate
Change Benchmark [95.19070157520633]
近年の自己スーパービジョンの進歩は、大量の教師なしデータ上で大規模なニューラルネットワークを事前訓練することで、下流タスクの一般化が著しく増加することを示している。
基礎モデルとして最近作られたそのようなモデルは、自然言語処理の分野に転換してきた。
気候変動に関連する様々な下流タスクからなる新しいベンチマークを開発することを提案する。
論文 参考訳(メタデータ) (2021-12-01T15:38:19Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z) - EarthNet2021: A novel large-scale dataset and challenge for forecasting
localized climate impacts [12.795776149170978]
大規模な地球観測データセットにより、粗い気象情報を高解像度の地球表面予測に変換できる機械学習モデルが作成できるようになった。
メソスケール気象予測に基づく衛星画像の映像予測として高分解能地球表面予測を定義します。
EarthNet 2021は、高分解能地形とメソスケール(1.28 km)の気象変数と一致する、20 mの解像度でターゲット時空間のセンチネル2衛星画像を含む新しいデータセットである。
論文 参考訳(メタデータ) (2020-12-11T11:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。