論文の概要: Improving Position Encoding of Transformers for Multivariate Time Series Classification

• arxiv url: http://arxiv.org/abs/2305.16642v1
• Date: Fri, 26 May 2023 05:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 16:49:28.402118
• Title: Improving Position Encoding of Transformers for Multivariate Time Series Classification
• Title（参考訳）: 多変量時系列分類のための変圧器の位置符号化の改善
• Authors: Navid Mohammadi Foumani, Chang Wei Tan, Geoffrey I. Webb, Mahsa Salehi
• Abstract要約: 本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
• 参考スコア（独自算出の注目度）: 5.467400475482668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have demonstrated outstanding performance in many applications of deep learning. When applied to time series data, transformers require effective position encoding to capture the ordering of the time series data. The efficacy of position encoding in time series analysis is not well-studied and remains controversial, e.g., whether it is better to inject absolute position encoding or relative position encoding, or a combination of them. In order to clarify this, we first review existing absolute and relative position encoding methods when applied in time series classification. We then proposed a new absolute position encoding method dedicated to time series data called time Absolute Position Encoding (tAPE). Our new method incorporates the series length and input embedding dimension in absolute position encoding. Additionally, we propose computationally Efficient implementation of Relative Position Encoding (eRPE) to improve generalisability for time series. We then propose a novel multivariate time series classification (MTSC) model combining tAPE/eRPE and convolution-based input encoding named ConvTran to improve the position and data embedding of time series data. The proposed absolute and relative position encoding methods are simple and efficient. They can be easily integrated into transformer blocks and used for downstream tasks such as forecasting, extrinsic regression, and anomaly detection. Extensive experiments on 32 multivariate time-series datasets show that our model is significantly more accurate than state-of-the-art convolution and transformer-based models. Code and models are open-sourced at \url{https://github.com/Navidfoumani/ConvTran}.
• Abstract（参考訳）: 変換器は深層学習の多くの応用において顕著な性能を示した。 時系列データに適用する場合、トランスフォーマーは時系列データの順序をキャプチャするために効果的な位置符号化を必要とする。 時系列解析における位置エンコーディングの有効性はよく研究されておらず、絶対位置エンコーディングや相対位置エンコーディングを挿入した方が良いか、あるいはそれらの組み合わせが良いかなど、議論が続いている。 これを明らかにするため,まず,時系列分類に適用される既存の絶対位置と相対位置の符号化法について検討する。 次に,時系列データ専用の絶対位置符号化法であるtime absolute position encoding (tape) を提案する。 我々の新しい手法は、絶対位置符号化における直列長と入力埋め込み次元を組み込む。 さらに,時系列の一般化性を向上させるために,相対位置符号化(erpe)の計算効率の高い実装を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせたMTSCモデルを提案し,時系列データの位置とデータ埋め込みを改善する。 提案する絶対位置と相対位置の符号化手法は単純かつ効率的である。 これらは容易にトランスフォーマーブロックに統合でき、予測、外部回帰、異常検出などの下流タスクに使用できる。 32個の多変量時系列データセットに関する広範囲な実験により,本モデルが最先端の畳み込みやトランスフォーマーモデルよりもかなり精度が高いことがわかった。 コードとモデルは \url{https://github.com/navidfoumani/convtran} でオープンソースである。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。 本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting Transformer [9.281993269355544]
  本稿では,エンコーダとデコーダのボトムアップおよびトップダウンアーキテクチャを利用して,完全かつ合理的な階層を構築するためのFPPformerを提案する。 6つの最先端ベンチマークによる大規模な実験は、FPPformerの有望な性能を検証する。
  論文  参考訳（メタデータ） (2023-12-10T06:50:56Z)
• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• Attention Augmented Convolutional Transformer for Tabular Time-series [0.9137554315375922]
  時系列分類は、産業データ科学において最も頻繁に実行されるタスクの1つである。 時系列データから表現を学習するための新しいスケーラブルアーキテクチャを提案する。 提案するモデルはエンドツーエンドで,カテゴリ型と連続型の両方の値入力を処理できる。
  論文  参考訳（メタデータ） (2021-10-05T05:20:46Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
  トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
  論文  参考訳（メタデータ） (2021-04-18T03:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。