論文の概要: Improving Position Encoding of Transformers for Multivariate Time Series
Classification
- arxiv url: http://arxiv.org/abs/2305.16642v1
- Date: Fri, 26 May 2023 05:30:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 16:49:28.402118
- Title: Improving Position Encoding of Transformers for Multivariate Time Series
Classification
- Title(参考訳): 多変量時系列分類のための変圧器の位置符号化の改善
- Authors: Navid Mohammadi Foumani, Chang Wei Tan, Geoffrey I. Webb, Mahsa Salehi
- Abstract要約: 本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。
次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
- 参考スコア(独自算出の注目度): 5.467400475482668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers have demonstrated outstanding performance in many applications
of deep learning. When applied to time series data, transformers require
effective position encoding to capture the ordering of the time series data.
The efficacy of position encoding in time series analysis is not well-studied
and remains controversial, e.g., whether it is better to inject absolute
position encoding or relative position encoding, or a combination of them. In
order to clarify this, we first review existing absolute and relative position
encoding methods when applied in time series classification. We then proposed a
new absolute position encoding method dedicated to time series data called time
Absolute Position Encoding (tAPE). Our new method incorporates the series
length and input embedding dimension in absolute position encoding.
Additionally, we propose computationally Efficient implementation of Relative
Position Encoding (eRPE) to improve generalisability for time series. We then
propose a novel multivariate time series classification (MTSC) model combining
tAPE/eRPE and convolution-based input encoding named ConvTran to improve the
position and data embedding of time series data. The proposed absolute and
relative position encoding methods are simple and efficient. They can be easily
integrated into transformer blocks and used for downstream tasks such as
forecasting, extrinsic regression, and anomaly detection. Extensive experiments
on 32 multivariate time-series datasets show that our model is significantly
more accurate than state-of-the-art convolution and transformer-based models.
Code and models are open-sourced at
\url{https://github.com/Navidfoumani/ConvTran}.
- Abstract(参考訳): 変換器は深層学習の多くの応用において顕著な性能を示した。
時系列データに適用する場合、トランスフォーマーは時系列データの順序をキャプチャするために効果的な位置符号化を必要とする。
時系列解析における位置エンコーディングの有効性はよく研究されておらず、絶対位置エンコーディングや相対位置エンコーディングを挿入した方が良いか、あるいはそれらの組み合わせが良いかなど、議論が続いている。
これを明らかにするため,まず,時系列分類に適用される既存の絶対位置と相対位置の符号化法について検討する。
次に,時系列データ専用の絶対位置符号化法であるtime absolute position encoding (tape) を提案する。
我々の新しい手法は、絶対位置符号化における直列長と入力埋め込み次元を組み込む。
さらに,時系列の一般化性を向上させるために,相対位置符号化(erpe)の計算効率の高い実装を提案する。
次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせたMTSCモデルを提案し,時系列データの位置とデータ埋め込みを改善する。
提案する絶対位置と相対位置の符号化手法は単純かつ効率的である。
これらは容易にトランスフォーマーブロックに統合でき、予測、外部回帰、異常検出などの下流タスクに使用できる。
32個の多変量時系列データセットに関する広範囲な実験により,本モデルが最先端の畳み込みやトランスフォーマーモデルよりもかなり精度が高いことがわかった。
コードとモデルは \url{https://github.com/navidfoumani/convtran} でオープンソースである。
関連論文リスト
- Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting
Transformer [9.281993269355544]
本稿では,エンコーダとデコーダのボトムアップおよびトップダウンアーキテクチャを利用して,完全かつ合理的な階層を構築するためのFPPformerを提案する。
6つの最先端ベンチマークによる大規模な実験は、FPPformerの有望な性能を検証する。
論文 参考訳(メタデータ) (2023-12-10T06:50:56Z) - MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for
General Time Series Forecasting [18.990322695844675]
トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。
既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。
最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:24:33Z) - Functional Interpolation for Relative Positions Improves Long Context
Transformers [86.12843093589]
本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。
理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。
FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
論文 参考訳(メタデータ) (2023-10-06T17:59:11Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-03-01T08:33:16Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Attention Augmented Convolutional Transformer for Tabular Time-series [0.9137554315375922]
時系列分類は、産業データ科学において最も頻繁に実行されるタスクの1つである。
時系列データから表現を学習するための新しいスケーラブルアーキテクチャを提案する。
提案するモデルはエンドツーエンドで,カテゴリ型と連続型の両方の値入力を処理できる。
論文 参考訳(メタデータ) (2021-10-05T05:20:46Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳(メタデータ) (2021-06-23T17:51:26Z) - Learnable Fourier Features for Multi-DimensionalSpatial Positional
Encoding [96.9752763607738]
本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。
本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-05T04:40:18Z) - Demystifying the Better Performance of Position Encoding Variants for
Transformer [12.503079503907989]
トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。
提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
論文 参考訳(メタデータ) (2021-04-18T03:44:57Z) - Temporal signals to images: Monitoring the condition of industrial
assets with deep learning image processing algorithms [3.9023554886892438]
本稿では,文献に見られる画像符号化手法の信号について概説する。
我々は、大規模なデータセットの変動性に対してより堅牢になるように、元の定式化のいくつかを変更することを提案する。
選択された符号化方法は、Gramian Angular Field、Markov Transition Field、Recurrentence plot、グレイスケールエンコーディング、Spectrogram、 scalogramである。
論文 参考訳(メタデータ) (2020-05-14T14:42:06Z) - Learning to Encode Position for Transformer with Continuous Dynamical
Model [88.69870971415591]
本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。
このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
論文 参考訳(メタデータ) (2020-03-13T00:41:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。