論文の概要: Easy attention: A simple self-attention mechanism for transformer-based
time-series reconstruction and prediction
- arxiv url: http://arxiv.org/abs/2308.12874v2
- Date: Fri, 22 Sep 2023 11:09:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 18:03:46.790478
- Title: Easy attention: A simple self-attention mechanism for transformer-based
time-series reconstruction and prediction
- Title(参考訳): 簡単な注意:変圧器を用いた時系列再構成と予測のための簡単な自己注意機構
- Authors: Marcial Sanchis-Agudo and Yuning Wang and Luca Guastoni and Karthik
Duraisamy and Ricardo Vinuesa
- Abstract要約: 本稿では,時系列の再構築と予測に有効な注意機構を提案する。
より複雑な高次元力学系における応用の可能性を示す。
- 参考スコア(独自算出の注目度): 2.5936539522838506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To improve the robustness of transformer neural networks used for
temporal-dynamics prediction of chaotic systems, we propose a novel attention
mechanism called easy attention which we demonstrate in time-series
reconstruction and prediction. As a consequence of the fact that self attention
only makes useof the inner product of queries and keys, it is demonstrated that
the keys, queries and softmax are not necessary for obtaining the attention
score required to capture long-term dependencies in temporal sequences. Through
implementing singular-value decomposition (SVD) on the softmax attention score,
we further observe that the self attention compresses contribution from both
queries and keys in the spanned space of the attention score. Therefore, our
proposed easy-attention method directly treats the attention scores as
learnable parameters. This approach produces excellent results when
reconstructing and predicting the temporal dynamics of chaotic systems
exhibiting more robustness and less complexity than the self attention or the
widely-used long short-term memory (LSTM) network. Our results show great
potential for applications in more complex high-dimensional dynamical systems.
Keywords: Machine Learning, Transformer, Self Attention, Koopman Operator,
Chaotic System.
- Abstract(参考訳): カオスシステムの時間力学予測に使用されるトランスフォーマーニューラルネットワークのロバスト性を改善するために,時系列再構成と予測で示すような,簡単な注意機構を提案する。
自己注意がクエリとキーの内部積のみを利用するという事実から、キー、クエリ、ソフトマックスは、時間的シーケンスにおける長期的な依存関係をキャプチャするために必要な注意スコアを得るのに必要ではないことが示される。
さらに,ソフトマックスアテンションスコアに特異値分解(svd)を導入することで,アテンションスコアのスパンドスペースにおけるクエリとキーの両方からの貢献を自己アテンションが圧縮するのをさらに観察する。
そこで,本提案手法は注意点を直接学習可能なパラメータとして扱う。
この手法は,カオスシステムの時間的ダイナミクスを再構築・予測する際に,自己注意やLSTM(Long-term memory)ネットワークよりも堅牢性が高く,複雑度が低い場合に優れた結果をもたらす。
より複雑な高次元力学系における応用の可能性を示す。
キーワード:機械学習、トランスフォーマー、自己注意、クープマン演算子、カオスシステム。
関連論文リスト
- Spatial-temporal Memories Enhanced Graph Autoencoder for Anomaly Detection in Dynamic Graphs [52.956235109354175]
動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。
空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。
STRIPEは、動的グラフの異なる空間的・時間的ダイナミクスを効果的に活用することにより、異常を識別する優れた能力を示した。
論文 参考訳(メタデータ) (2024-03-14T02:26:10Z) - Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。
トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。
提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文 参考訳(メタデータ) (2024-02-08T03:00:50Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳(メタデータ) (2023-11-20T17:35:44Z) - PrACTiS: Perceiver-Attentional Copulas for Time Series [27.107746150930055]
本稿では、時系列予測を強化するために、知覚アーキテクチャとコプラ構造を組み合わせたモデルを提案する。
認識器をエンコーダとして利用することにより、複雑な高次元のマルチモーダルデータをコンパクトな潜在空間に効率よく変換する。
また,コプラに基づくアテンションと出力分散試験機構を配置し,欠落データの連成分布を抽出する。
論文 参考訳(メタデータ) (2023-10-03T01:13:17Z) - DRAformer: Differentially Reconstructed Attention Transformer for
Time-Series Forecasting [7.805077630467324]
時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。
最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。
しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
論文 参考訳(メタデータ) (2022-06-11T10:34:29Z) - Autoformer: Decomposition Transformers with Auto-Correlation for
Long-Term Series Forecasting [68.86835407617778]
Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。
長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
論文 参考訳(メタデータ) (2021-06-24T13:43:43Z) - Capturing Multi-Resolution Context by Dilated Self-Attention [58.69803243323346]
限定的自己意識と拡張メカニズムの組み合わせを提案し,これを拡張的自己意識と呼ぶ。
制限された自己注意は、高分解能でクエリの隣接するフレームに注意を払い、拡張メカニズムは、より低い解像度でそれに出席できるように遠方の情報を要約します。
ASRの結果は、制限された自己アテンションのみと比較して大幅に改善され、計算コストのごく一部をフルシーケンスベースの自己アテンションと比較すると、同様の結果が得られる。
論文 参考訳(メタデータ) (2021-04-07T02:04:18Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳(メタデータ) (2020-10-08T20:25:52Z) - Attention that does not Explain Away [54.42960937271612]
Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。
Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。
本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
論文 参考訳(メタデータ) (2020-09-29T21:05:39Z) - Untangling tradeoffs between recurrence and self-attention in neural
networks [81.30894993852813]
本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。
長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。
本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
論文 参考訳(メタデータ) (2020-06-16T19:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。