論文の概要: Temporal Fusion Transformers for Streamflow Prediction: Value of
Combining Attention with Recurrence
- arxiv url: http://arxiv.org/abs/2305.12335v1
- Date: Sun, 21 May 2023 03:58:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 21:11:58.674601
- Title: Temporal Fusion Transformers for Streamflow Prediction: Value of
Combining Attention with Recurrence
- Title（参考訳）: 流れ予測のための時相核融合トランス : 注意と再発を組み合わせる価値
- Authors: Sinan Rasiya Koya and Tirthankar Roy
- Abstract要約: この研究は、繰り返しと注意を組み合わせることで、ストリームフロー予測を改善することができるという仮説をテストする。
我々はこれら2つの側面を組み合わせたTFT(Temporal Fusion Transformer)アーキテクチャを構築した。
その結果,TFT はストリームフロー予測のために LSTM と Transformer が設定した性能ベンチマークをはるかに上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past few decades, the hydrology community has witnessed notable
advancements in streamflow prediction, particularly with the introduction of
cutting-edge machine-learning algorithms. Recurrent neural networks, especially
Long Short-Term Memory (LSTM) networks, have become popular due to their
capacity to create precise forecasts and realistically mimic the system
dynamics. Attention-based models, such as Transformers, can learn from the
entire data sequence concurrently, a feature that LSTM does not have. This work
tests the hypothesis that combining recurrence with attention can improve
streamflow prediction. We set up the Temporal Fusion Transformer (TFT)
architecture, a model that combines both of these aspects and has never been
applied in hydrology before. We compare the performance of LSTM, Transformers,
and TFT over 2,610 globally distributed catchments from the recently available
Caravan dataset. Our results demonstrate that TFT indeed exceeds the
performance benchmark set by the LSTM and Transformers for streamflow
prediction. Additionally, being an explainable AI method, TFT helps in gaining
insights into the streamflow generation processes.
- Abstract（参考訳）: 過去数十年間、水文学コミュニティは、特に最先端の機械学習アルゴリズムの導入によって、ストリームフロー予測の顕著な進歩を目撃してきた。
リカレントニューラルネットワーク、特にLong Short-Term Memory (LSTM)ネットワークは、正確な予測を作成し、システムダイナミクスを現実的に模倣する能力によって人気を博している。
Transformersのような注意ベースのモデルは、LSTMが持っていない機能であるデータシーケンス全体から同時に学習することができる。
この研究は、繰り返しと注意を組み合わせることで、ストリームフロー予測を改善することができるという仮説をテストする。
我々は,これら2つの側面を組み合わせたモデルであるtemporal fusion transformer (tft) アーキテクチャを構築した。
LSTM, Transformers, TFTのパフォーマンスを最近利用可能なCaravanデータセットから全世界で2,610回にわたって比較した。
その結果,TFT はストリームフロー予測のために LSTM と Transformer が設定した性能ベンチマークを上回ることがわかった。
さらに、TFTは説明可能なAI手法であり、ストリームフロー生成プロセスに関する洞察を得るのに役立つ。
関連論文リスト
- PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - A Parsimonious Setup for Streamflow Forecasting using CNN-LSTM [0.0]
我々は,CNN-LSTMを時系列設定に適用し,ストリームフローの予測にタグ付きストリームフローデータを活用する。
ネブラスカ州32のHUC8流域において, 予測性能は有意に向上した。
論文 参考訳（メタデータ） (2024-04-11T17:10:57Z) - Probing the limit of hydrologic predictability with the Transformer
network [7.326504492614808]
我々は、広くベンチマークされたCAMELSデータセット上で、バニラトランスフォーマーアーキテクチャがLSTMと競合しないことを示す。
Transformerの再現性のない変種はLSTMとの混合比較を得ることができ、同じKling-Gupta効率係数(KGE)を他の指標とともに生成する。
Transformerの結果は現在の最先端のものほど高くはないが、それでもいくつかの貴重な教訓が得られた。
論文 参考訳（メタデータ） (2023-06-21T17:06:54Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳（メタデータ） (2023-05-20T05:16:31Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Predicting the temporal dynamics of turbulent channels through deep
learning [0.0]
最小乱流チャネル流の時間的進化を再現するニューラルネットワークの能力を評価することを目的としている。
長期記憶(LSTM)ネットワークとクープマンベースのフレームワーク(KNF)は、最小チャネルフローモードの時間ダイナミクスを予測するために訓練される。
論文 参考訳（メタデータ） (2022-03-02T09:31:03Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳（メタデータ） (2021-12-16T19:56:44Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - Machine Learning for Postprocessing Ensemble Streamflow Forecasts [0.0]
機械学習と動的モデリングを統合して,短期から中規模(1～7日)におけるストリームフロー予測の質向上を実証する。
我々はLong Short-Term Memory(LSTM)ニューラルネットワークを用いて、動的モデリングから得られた生のアンサンブルストリームフロー予測における予測バイアスを補正する。
検証結果から,LSTMは気候,時間的持続性,決定論的,生のアンサンブル予測に対して,ストリームフロー予測を改善することができることが示された。
論文 参考訳（メタデータ） (2021-06-15T18:46:30Z) - Wake Word Detection with Streaming Transformers [72.66551640048405]
提案したトランスフォーマーモデルでは,同じ偽アラームレートで,平均25%の誤り拒否率でベースライン畳み込みネットワークを性能的に上回ることを示す。
Mobvoiのウェイクワードデータセットに関する実験により,提案したTransformerモデルはベースライン畳み込みネットワークを25%上回る性能を示した。
論文 参考訳（メタデータ） (2021-02-08T19:14:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。