論文の概要: Earthformer: Exploring Space-Time Transformers for Earth System
Forecasting
- arxiv url: http://arxiv.org/abs/2207.05833v1
- Date: Tue, 12 Jul 2022 20:52:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 11:57:20.408363
- Title: Earthformer: Exploring Space-Time Transformers for Earth System
Forecasting
- Title（参考訳）: earthformer: 地球系予測のための時空変圧器の探索
- Authors: Zhihan Gao, Xingjian Shi, Hao Wang, Yi Zhu, Yuyang Wang, Mu Li,
Dit-Yan Yeung
- Abstract要約: 本研究では,地球系予測のための時空間変圧器である地球変圧器を提案する。
Transformerは、Cuboid Attentionという、汎用的で柔軟で効率的な時空アテンションブロックに基づいている。
降水量計に関する2つの実世界のベンチマークとエルニーノ/サウス・テンポシエーションの実験は、アースフォーマーが最先端のパフォーマンスを達成したことを示している。
- 参考スコア（独自算出の注目度）: 27.60569643222878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventionally, Earth system (e.g., weather and climate) forecasting relies
on numerical simulation with complex physical models and are hence both
expensive in computation and demanding on domain expertise. With the explosive
growth of the spatiotemporal Earth observation data in the past decade,
data-driven models that apply Deep Learning (DL) are demonstrating impressive
potential for various Earth system forecasting tasks. The Transformer as an
emerging DL architecture, despite its broad success in other domains, has
limited adoption in this area. In this paper, we propose Earthformer, a
space-time Transformer for Earth system forecasting. Earthformer is based on a
generic, flexible and efficient space-time attention block, named Cuboid
Attention. The idea is to decompose the data into cuboids and apply
cuboid-level self-attention in parallel. These cuboids are further connected
with a collection of global vectors. We conduct experiments on the MovingMNIST
dataset and a newly proposed chaotic N-body MNIST dataset to verify the
effectiveness of cuboid attention and figure out the best design of
Earthformer. Experiments on two real-world benchmarks about precipitation
nowcasting and El Nino/Southern Oscillation (ENSO) forecasting show Earthformer
achieves state-of-the-art performance.
- Abstract（参考訳）: 従来、地球システム(例えば天気と気候)の予測は複雑な物理モデルによる数値シミュレーションに依存しているため、計算コストもドメインの専門知識も高い。
過去10年間の時空間地球観測データの爆発的な成長により、深層学習(DL)を応用したデータ駆動モデルは、様々な地球系予測タスクに顕著な可能性を示している。
新たなDLアーキテクチャとしてのTransformerは、他のドメインで広く成功したにもかかわらず、この分野では限定的に採用されている。
本稿では,地球系予測のための時空変圧器であるearthformerを提案する。
Earthformerは、Cuboid Attentionという、汎用的で柔軟で効率的な時空アテンションブロックに基づいている。
データをキュービイドに分解し、キュービイドレベルの自己アテンションを並列に適用する。
これらの立方体はさらに大域ベクトルの集合と結びついている。
我々は,移動MNISTデータセットと新たに提案されたカオスN体MNISTデータセットを用いて,立方体アテンションの有効性を検証し,アースフォーマの最適設計を明らかにする。
降水に関する2つの実世界のベンチマークとエルニーノ/南方振動(ENSO)予測の実験は、アースフォーマーが最先端のパフォーマンスを達成したことを示している。
関連論文リスト
- MambaDS: Near-Surface Meteorological Field Downscaling with Topography Constrained Selective State Space Modeling [68.69647625472464]
気象予測において重要な課題であるダウンスケーリングは、ターゲット領域に対する高解像度気象状態の再構築を可能にする。
以前のダウンスケーリング手法には気象学のための調整された設計が欠けており、構造的な限界に遭遇した。
本稿では,多変数相関と地形情報の利用性を高める新しいモデルであるMambaDSを提案する。
論文 参考訳（メタデータ） (2024-08-20T13:45:49Z) - A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics [8.012940782999975]
我々は,汎用リアルタイムデータ同化フレームワークを導入し,そのエンドツーエンド性能をFrontierスーパーコンピュータ上で実証する。
このフレームワークは、アンサンブルスコアフィルタ(EnSF)とビジョントランスフォーマーベースのサロゲートの2つの主要モジュールから構成される。
ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
論文 参考訳（メタデータ） (2024-07-16T20:44:09Z) - Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation [48.66623377464203]
我々の新しいアプローチは、脳科学における神経可塑性の概念を活用する、ダイナミックワンフォーオール(DOFA)モデルを導入している。
このダイナミックなハイパーネットワークは、異なる波長に調整され、5つのセンサーのデータに基づいて1つの多目的トランスフォーマーを共同で訓練し、12の異なる地球観測タスクを遂行することを可能にする。
論文 参考訳（メタデータ） (2024-03-22T17:11:47Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳（メタデータ） (2024-02-27T03:08:44Z) - Observation-Guided Meteorological Field Downscaling at Station Scale: A
Benchmark and a New Method [66.80344502790231]
気象学的ダウンスケーリングを任意の散乱ステーションスケールに拡張し、新しいベンチマークとデータセットを確立する。
データ同化技術にインスパイアされた我々は、観測データをダウンスケーリングプロセスに統合し、マルチスケールの観測先行情報を提供する。
提案手法は、複数の曲面変数上で、他の特別に設計されたベースラインモデルよりも優れている。
論文 参考訳（メタデータ） (2024-01-22T14:02:56Z) - SSIN: Self-Supervised Learning for Rainfall Spatial Interpolation [37.212272184144]
降雨空間分析のためのデータ駆動型自己教師型学習フレームワークを提案する。
過去のデータから潜伏した空間パターンをマイニングすることで、SpaFormerは生データに対する情報埋め込みを学び、空間相関を適応的にモデル化することができる。
本手法は,2つの実世界のラリングオージデータセットの実験において,最先端のソリューションよりも優れる。
論文 参考訳（メタデータ） (2023-11-27T04:23:47Z) - Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。
我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
論文 参考訳（メタデータ） (2023-10-28T10:19:55Z) - EarthPT: a time series foundation model for Earth Observation [0.0]
我々は、地球観測(EO)事前訓練トランスであるEarthPTを紹介する。
我々は,EarthPTが将来の画素レベルの反射率を正確に予測できる効果的な予測器であることを実証した。
また,EarthPTで学習した埋め込みが意味的に意味のある情報を保持することを示す。
論文 参考訳（メタデータ） (2023-09-13T18:00:00Z) - A machine learning and feature engineering approach for the prediction
of the uncontrolled re-entry of space objects [1.0205541448656992]
低地球軌道(LEO)における未制御物体の再突入予測のための深層学習モデルの開発について述べる。
このモデルはSequence-to-Sequenceアーキテクチャの修正版に基づいており、400体以上のTLE(Two-Line Element)データから得られた平均高度プロファイルに基づいて訓練されている。
この研究の斬新さは、平均高度とともに、ドラッグライクな係数(B*)、平均太陽指数、物体の面積と質量比の3つの新しい入力特徴を含むディープラーニングモデルの導入である。
論文 参考訳（メタデータ） (2023-03-17T13:53:59Z) - Predictive World Models from Real-World Partial Observations [66.80340484148931]
本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。
従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
論文 参考訳（メタデータ） (2023-01-12T02:07:26Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。