論文の概要: Conformer: Embedding Continuous Attention in Vision Transformer for
Weather Forecasting
- arxiv url: http://arxiv.org/abs/2402.17966v1
- Date: Wed, 28 Feb 2024 01:15:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:43:41.370610
- Title: Conformer: Embedding Continuous Attention in Vision Transformer for
Weather Forecasting
- Title(参考訳): コンフォーマー:天気予報のための視覚変換器の連続的注意を組み込む
- Authors: Hira Saleem, Flora Salim, Cormac Purcell
- Abstract要約: トランスフォーマーベースのモデルは、天気予報に顕著な可能性を示している。
トランスフォーマーは、気象システムの継続的な時間的特徴を学習する能力を制限する離散モデルである。
Conformerは、マルチヘッドアテンション機構に連続性を実装することで、経時的に連続的な天気変化を学習するように設計されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Operational weather forecasting system relies on computationally expensive
physics-based models. Although Transformers-based models have shown remarkable
potential in weather forecasting, Transformers are discrete models which limit
their ability to learn the continuous spatio-temporal features of the dynamical
weather system. We address this issue with Conformer, a spatio-temporal
Continuous Vision Transformer for weather forecasting. Conformer is designed to
learn the continuous weather evolution over time by implementing continuity in
the multi-head attention mechanism. The attention mechanism is encoded as a
differentiable function in the transformer architecture to model the complex
weather dynamics. We evaluate Conformer against a state-of-the-art Numerical
Weather Prediction (NWP) model and several deep learning based weather
forecasting models. Conformer outperforms some of the existing data-driven
models at all lead times while only being trained at lower resolution data.
- Abstract(参考訳): 運用気象予報システムは計算コストの高い物理モデルに依存している。
トランスフォーマーベースのモデルは天気予報において顕著な可能性を示しているが、トランスフォーマーは動的気象システムの時相的連続的な特徴を学習する能力を制限する離散モデルである。
天気予報のための時空間連続視変換器であるConformerでこの問題に対処する。
コンフォーマーは,マルチヘッドアテンション機構に連続性を実装することで,時間とともに連続的な気象変動を学習するように設計されている。
注意機構は、複雑な気象力学をモデル化するトランスフォーマーアーキテクチャにおける微分可能な関数として符号化される。
我々はコンフォーマーを最先端の数値気象予測(NWP)モデルと深層学習に基づく天気予報モデルに対して評価する。
conformerは、解像度の低いデータでのみトレーニングしながら、すべてのリードタイムで既存のデータ駆動モデルよりも優れています。
関連論文リスト
- Scaling transformer neural networks for skillful and reliable
medium-range weather forecasting [24.02355555479722]
本稿では,標準変圧器バックボーンの変更を最小限に抑えつつ,気象予報の最先端性能であるStormerを紹介する。
Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。
ウェザーベンチ2では、ストーマーは短距離から中距離の予測で競争力を発揮し、現在の手法を7日を超えて上回っている。
論文 参考訳(メタデータ) (2023-12-06T19:46:06Z) - Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series
Forecasting Approach [71.67506068703314]
長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。
伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。
本研究では,都市におけるモビリティ予測の新たな視点について紹介する。
都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
論文 参考訳(メタデータ) (2023-12-04T07:39:05Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - Two Steps Forward and One Behind: Rethinking Time Series Forecasting
with Deep Learning [7.967995669387532]
Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。
時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。
性能が良く、より複雑でない代替モデル一式を提案する。
論文 参考訳(メタデータ) (2023-04-10T12:47:42Z) - Continuous Spatiotemporal Transformers [2.485182034310304]
連続時間変換器(Continuous Stemporal Transformer, CST)は, 連続系をモデル化するためのトランスフォーマアーキテクチャである。
この新しいフレームワークは、ソボレフ空間における最適化による連続的な表現と出力を保証する。
我々は従来の変圧器や他のスムーズな時相力学モデリング手法に対してCSTをベンチマークし、合成および実システムにおける多くのタスクにおいて優れた性能を達成する。
論文 参考訳(メタデータ) (2023-01-31T00:06:56Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳(メタデータ) (2023-01-24T23:19:01Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Probabilistic Decomposition Transformer for Time Series Forecasting [13.472690692157164]
本稿では,トランスフォーマと条件付き生成モデルを組み合わせた確率分解変換器モデルを提案する。
Transformerは、時間パターンを学習し、主要な確率予測を実装するために使用される。
条件生成モデルは、非自己回帰的階層的確率予測を達成するために使用される。
論文 参考訳(メタデータ) (2022-10-31T15:22:50Z) - Autoformer: Decomposition Transformers with Auto-Correlation for
Long-Term Series Forecasting [68.86835407617778]
Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。
長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
論文 参考訳(メタデータ) (2021-06-24T13:43:43Z) - Numerical Weather Forecasting using Convolutional-LSTM with Attention
and Context Matcher Mechanisms [10.759556555869798]
本稿では,高解像度気象データを予測するための新しいディープラーニングアーキテクチャを提案する。
我々の気象モデルは,ベースラインの深層学習モデルと比較して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2021-02-01T08:30:42Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳(メタデータ) (2020-10-08T20:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。