Fugu-MT 論文翻訳(概要): Revisiting Attention for Multivariate Time Series Forecasting

論文の概要: Revisiting Attention for Multivariate Time Series Forecasting

arxiv url: http://arxiv.org/abs/2407.13806v1
Date: Thu, 18 Jul 2024 06:28:20 GMT
ステータス: 処理完了
システム内更新日: 2024-07-22 21:39:27.366171
Title: Revisiting Attention for Multivariate Time Series Forecasting
Title（参考訳）: 多変量時系列予測における留意点の再検討
Authors: Haixiang Wu,
Abstract要約: 本研究ではまず周波数領域空間に基づく新しい注意機構である周波数スペクトルアテンション(FSatten)を提案する。埋め込みにはフーリエ変換を使用し、従来のQとKの線形写像を置き換えるためにマルチヘッドスペクトルスケーリング(MSS)を導入している。我々はさらに、スケールド直交注意(SOatten)と呼ばれるより一般的な手法を設計する。実験の結果, FSatten と SOatten がSOTA を上回り, MTSF の基本的注意機構として優れていることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Current Transformer methods for Multivariate Time-Series Forecasting (MTSF) are all based on the conventional attention mechanism. They involve sequence embedding and performing a linear projection of Q, K, and V, and then computing attention within this latent space. We have never delved into the attention mechanism to explore whether such a mapping space is optimal for MTSF. To investigate this issue, this study first proposes Frequency Spectrum attention (FSatten), a novel attention mechanism based on the frequency domain space. It employs the Fourier transform for embedding and introduces Multi-head Spectrum Scaling (MSS) to replace the conventional linear mapping of Q and K. FSatten can accurately capture the periodic dependencies between sequences and outperform the conventional attention without changing mainstream architectures. We further design a more general method dubbed Scaled Orthogonal attention (SOatten). We propose an orthogonal embedding and a Head-Coupling Convolution (HCC) based on the neighboring similarity bias to guide the model in learning comprehensive dependency patterns. Experiments show that FSatten and SOatten surpass the SOTA which uses conventional attention, making it a good alternative as a basic attention mechanism for MTSF. The codes and log files will be released at: https://github.com/Joeland4/FSatten-SOatten.
Abstract（参考訳）: MTSF(Multiate Time-Series Forecasting)の現在のトランスフォーマー手法はすべて,従来のアテンション機構に基づいている。シーケンシャル埋め込みと Q, K, V の線型射影を行い、次にこの潜在空間内で注意を計算する。このような写像空間がMTSFに最適かどうかを探索するために、注意機構を掘り下げたことは一度もない。そこで本研究では,周波数領域空間に基づく新しいアテンション機構である周波数スペクトルアテンション(FSatten)を提案する。 FSattenは、シークエンス間の周期的依存関係を正確に把握し、メインストリームアーキテクチャを変更することなく、従来の注目を上回ることができる。さらに、より一般的な方法であるスケールド直交注意法(SOatten)を設計する。本稿では, 近接する類似性バイアスに基づく直交埋め込みと頭部結合畳み込み(HCC)を提案し, 包括的依存パターンの学習においてモデルを導出する。実験の結果, FSatten と SOatten がSOTA を上回り, MTSF の基本的注意機構として優れていることがわかった。コードとログファイルは、https://github.com/Joeland4/FSatten-SOatten.comでリリースされる。

関連論文リスト

Frequency Guidance Matters: Skeletal Action Recognition by Frequency-Aware Mixed Transformer [18.459822172890473]
骨格の周波数表現を除去するための周波数認識型アテンションモジュールを提案する。また、周波数特徴を持つ空間特徴を組み込む混合変圧器アーキテクチャも開発している。 FreqMiXFormerは3つの一般的な骨格認識データセットでSOTAを上回っている。
論文参考訳（メタデータ） (2024-07-17T05:47:27Z)
TSCMamba: Mamba Meets Multi-View Learning for Time Series Classification [13.110156202816112]
時系列分類のための補完的コンテキストを提供するために、周波数領域と時間領域の機能を統合した新しいマルチビューアプローチを提案する。本手法は,連続ウェーブレット変換スペクトル特徴を時間的畳み込みあるいは多層パーセプトロン特徴と融合する。 10の標準ベンチマークデータセットによる実験は、我々のアプローチが最先端のTSCモデルよりも平均6.45%の精度向上を達成することを示した。
論文参考訳（メタデータ） (2024-06-06T18:05:10Z)
Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文参考訳（メタデータ） (2024-02-08T03:00:50Z)
FreDF: Learning to Forecast in Frequency Domain [56.24773675942897]
時系列モデリングは、歴史的シーケンスとラベルシーケンスの両方に自己相関が存在するという点で、独特な課題である。本稿では、周波数領域の予測を学習することでラベル自己相関の複雑さを回避できる周波数強調直接予測(FreDF)を導入する。
論文参考訳（メタデータ） (2024-02-04T08:23:41Z)
PatchMixer: A Patch-Mixing Architecture for Long-Term Time Series Forecasting [3.7244649185886978]
本稿では,新しいCNNモデルであるPatchMixerを提案する。時間的情報を保存するために、置換不変な畳み込み構造を導入する。最先端のCNNと比べれば、PatchMixerは3.9%、相対的な改善は21.2%である。
論文参考訳（メタデータ） (2023-10-01T12:47:59Z)
CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文参考訳（メタデータ） (2023-05-20T05:16:31Z)
STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-03-31T16:19:27Z)
FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文参考訳（メタデータ） (2023-02-20T07:46:14Z)
Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-03-27T14:25:52Z)
Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文参考訳（メタデータ） (2022-03-09T16:17:47Z)
Hyper Attention Recurrent Neural Network: Tackling Temporal Covariate Shift in Time Series Analysis [18.164097348714265]
非定常時系列では、異なるセグメント間での分布シフトがしばしば存在する。グローバル情報がないため、RNNはこれらのセグメントの適合バイアスのジレンマに簡単に潜入できる。マイクロ情報とマクロ情報の両方を含む時間パターンをモデル化するためのハイパーアテンションリカレントニューラルネットワーク(HARNN)を提案する。
論文参考訳（メタデータ） (2022-02-22T10:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。