論文の概要: Precipitation Nowcasting Using Diffusion Transformer with Causal Attention

• arxiv url: http://arxiv.org/abs/2410.13314v1
• Date: Thu, 17 Oct 2024 08:10:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:26.713221
• Title: Precipitation Nowcasting Using Diffusion Transformer with Causal Attention
• Title（参考訳）: 因果的注意を伴う拡散変圧器を用いた降水ノウキャスティング
• Authors: ChaoRong Li, XuDong Ling, YiLan Xue, Wenjie Luo, LiHong Zhu, FengQing Qin, Yaodong Zhou, Yuanyuan Huang,
• Abstract要約: 現在のディープラーニング手法は、条件と予測結果の効果的な依存関係を確立するのに不足している。 因果アテンションモデルを用いた拡散変圧器を用いた降雨キャスティングを提案する。
• 参考スコア（独自算出の注目度）: 3.9468501770612576
• License:
• Abstract: Short-term precipitation forecasting remains challenging due to the difficulty in capturing long-term spatiotemporal dependencies. Current deep learning methods fall short in establishing effective dependencies between conditions and forecast results, while also lacking interpretability. To address this issue, we propose a Precipitation Nowcasting Using Diffusion Transformer with Causal Attention model. Our model leverages Transformer and combines causal attention mechanisms to establish spatiotemporal queries between conditional information (causes) and forecast results (results). This design enables the model to effectively capture long-term dependencies, allowing forecast results to maintain strong causal relationships with input conditions over a wide range of time and space. We explore four variants of spatiotemporal information interactions for DTCA, demonstrating that global spatiotemporal labeling interactions yield the best performance. In addition, we introduce a Channel-To-Batch shift operation to further enhance the model's ability to represent complex rainfall dynamics. We conducted experiments on two datasets. Compared to state-of-the-art U-Net-based methods, our approach improved the CSI (Critical Success Index) for predicting heavy precipitation by approximately 15% and 8% respectively, achieving state-of-the-art performance.
• Abstract（参考訳）: 長期の時空間依存性の把握が困難であるため、短期降水予測は依然として困難である。 現在のディープラーニング手法は、解釈可能性の欠如とともに、条件と予測結果の効果的な依存関係の確立に不足している。 そこで本稿では,Diffusion Transformer とCausal Attention モデルを用いた降水流速予測手法を提案する。 我々のモデルはTransformerを活用し,因果的注意機構を組み合わせて,条件情報(原因)と予測結果(結果)の時空間的問い合わせを確立する。 この設計により、モデルが長期間の依存関係を効果的に捉えることができ、予測結果が幅広い時間と空間にわたって入力条件と強い因果関係を維持することができる。 DTCAにおける時空間情報相互作用の4つの変種について検討し,グローバル時空間ラベリング相互作用が最高の性能を示すことを示す。 さらに,複雑な降雨動態を表現できるモデルの有用性をさらに高めるために,Channel-to-Batchシフト操作を導入する。 2つのデータセットで実験を行った。 提案手法は最先端のU-Net法と比較して,CSI(Critical Success Index)を約15%,CSI(Critical Success Index)を8%改善し,最先端性能を実現した。

関連論文リスト

• STAA: Spatio-Temporal Alignment Attention for Short-Term Precipitation Forecasting [9.177158814568887]
  SATAを時間的アライメントモジュールとし、STAUを時間的アライメント特徴抽出器とする、時間的アライメントに基づく短期降水予測モデル。 衛星データとERA5データに基づいて、我々のモデルはRMSEの12.61%の改善を達成し、最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-09-06T10:28:52Z)
• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• Efficient Subseasonal Weather Forecast using Teleconnection-informed Transformers [29.33938664834226]
  季節的な予測は農業、水資源管理、災害の早期警戒に重要である。 機械学習の最近の進歩は、数値モデルに対する競争力のある予測能力を達成することで天気予報に革命をもたらした。 しかし、そのような基礎モデルのトレーニングには何千日ものGPU日が必要であるため、かなりの炭素排出量が発生する。
  論文  参考訳（メタデータ） (2024-01-31T14:27:35Z)
• GD-CAF: Graph Dual-stream Convolutional Attention Fusion for Precipitation Nowcasting [1.642094639107215]
  降水マップの履歴グラフから学習するために,GD-CAF (Graph Dual-streamtemporal Conal Attention Fusion) を導入した。 GD-CAFは、ゲート・テンポラル・コンボリューション・アテンションと、深度に分離可能なコンボリューション・オペレーションを備えた融合モジュールで構成されている。 ERA5データセットから収集したヨーロッパとその周辺地域の7年間の降水分布図を評価した。
  論文  参考訳（メタデータ） (2024-01-15T20:54:20Z)
• Learning from Polar Representation: An Extreme-Adaptive Model for Long-Term Time Series Forecasting [10.892801642895904]
  本稿では,距離重み付き自己正規化ニューラルネットワーク(DAN)を提案する。これは極性表現学習によって強化されたストラムフローの長距離予測のための新しい極性適応モデルである。 実生活における4つの水文流れデータセットにおいて、DANは、最先端の水文時系列予測法と長期時系列予測のための一般的な方法の両方を著しく上回っていることを実証した。
  論文  参考訳（メタデータ） (2023-12-14T09:16:01Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Long-term drought prediction using deep neural networks based on geospatial weather data [75.38539438000072]
  農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。 私たちは、体系的なエンドツーエンドアプローチを採用するエンドツーエンドアプローチを導入することで、干ばつデータに取り組みます。 主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
  論文  参考訳（メタデータ） (2023-09-12T13:28:06Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• TRU-NET: A Deep Learning Approach to High Resolution Prediction of Rainfall [21.399707529966474]
  本稿では,連続的畳み込み再帰層間の新しい2次元クロスアテンション機構を特徴とするエンコーダデコーダモデルであるTRU-NETを提案する。 降雨のゼロ・スクイド・%極端事象パターンを捉えるために,条件付き連続損失関数を用いた。 実験の結果,短期降水予測ではDLモデルよりもRMSEとMAEのスコアが低いことがわかった。
  論文  参考訳（メタデータ） (2020-08-20T17:27:59Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。