論文の概要: Intriguing Properties of Positional Encoding in Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2404.10337v1
- Date: Tue, 16 Apr 2024 07:21:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 17:43:04.062707
- Title: Intriguing Properties of Positional Encoding in Time Series Forecasting
- Title(参考訳): 時系列予測における位置符号化の興味ある特性
- Authors: Jianqi Zhang, Jingyao Wang, Wenwen Qiang, Fanjiang Xu, Changwen Zheng, Fuchun Sun, Hui Xiong,
- Abstract要約: トランスフォーマーベースの手法は、トークンの位置をマークするために位置符号化(PE)に依存する。
本稿では,時間的トークンに対する時間的位置動機付け(T-PE)と可変トークンに対する可変位置決め(V-PE)の2つの新しいPEを紹介する。
両PEを利用するために,TransformerベースのT2B-PEというデュアルブランチ・フレームワークを設計した。
- 参考スコア(独自算出の注目度): 35.441009253571245
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Transformer-based methods have made significant progress in time series forecasting (TSF). They primarily handle two types of tokens, i.e., temporal tokens that contain all variables of the same timestamp, and variable tokens that contain all input time points for a specific variable. Transformer-based methods rely on positional encoding (PE) to mark tokens' positions, facilitating the model to perceive the correlation between tokens. However, in TSF, research on PE remains insufficient. To address this gap, we conduct experiments and uncover intriguing properties of existing PEs in TSF: (i) The positional information injected by PEs diminishes as the network depth increases; (ii) Enhancing positional information in deep networks is advantageous for improving the model's performance; (iii) PE based on the similarity between tokens can improve the model's performance. Motivated by these findings, we introduce two new PEs: Temporal Position Encoding (T-PE) for temporal tokens and Variable Positional Encoding (V-PE) for variable tokens. Both T-PE and V-PE incorporate geometric PE based on tokens' positions and semantic PE based on the similarity between tokens but using different calculations. To leverage both the PEs, we design a Transformer-based dual-branch framework named T2B-PE. It first calculates temporal tokens' correlation and variable tokens' correlation respectively and then fuses the dual-branch features through the gated unit. Extensive experiments demonstrate the superior robustness and effectiveness of T2B-PE. The code is available at: \href{https://github.com/jlu-phyComputer/T2B-PE}{https://github.com/jlu-phyComputer/T2B-PE}.
- Abstract(参考訳): トランスフォーマーに基づく手法は時系列予測(TSF)において大きな進歩を遂げている。
主に、同じタイムスタンプの全ての変数を含む時間トークンと、特定の変数に対する全ての入力時間ポイントを含む変数トークンの2種類のトークンを扱う。
トランスフォーマーベースの手法は、トークンの位置をマークするために位置符号化(PE)に依存しており、トークン間の相関を知覚するモデルを容易にしている。
しかし、TSFでは、PEの研究は依然として不十分である。
このギャップに対処するため、我々は実験を行い、TSFにおける既存のPEの興味深い特性を明らかにする。
一 PEによって注入された位置情報は、ネットワーク深度が増加するにつれて減少する。
2ディープネットワークにおける位置情報の強化は、モデルの性能向上に有利である。
三 トークン間の類似性に基づくPEは、モデルの性能を向上させることができる。
これらの結果から,時間的トークンに対する時間的位置エンコーディング(T-PE)と可変トークンに対する可変位置エンコーディング(V-PE)の2つの新しいPEを紹介した。
T-PEとV-PEはどちらも、トークンの位置に基づく幾何学的PEと、トークン間の類似性に基づく意味的PEを、異なる計算を用いて組み込んでいる。
両PEを利用するために,TransformerベースのT2B-PEというデュアルブランチ・フレームワークを設計した。
まず、時間的トークンの相関と可変トークンの相関を計算し、それからゲート単位を通して二重分岐特徴を融合する。
大規模な実験は、T2B-PEの優れた堅牢性と有効性を示す。
コードは以下の通りである。 \href{https://github.com/jlu-phyComputer/T2B-PE}{https://github.com/jlu-phyComputer/T2B-PE}。
関連論文リスト
- Tokenization Is More Than Compression [15.689084780238597]
Byte-Pairのような既存のトークン化アプローチ。
(BPE)はデータ圧縮の分野から来ており、BPEはテキストを比較的少数のトークンに凝縮する能力に由来することが示唆されている。
PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
論文 参考訳(メタデータ) (2024-02-28T14:52:15Z) - The Locality and Symmetry of Positional Encodings [9.246374019271938]
我々はtextbfBi Masked Language Models (BERT-style) における位置符号化の体系的研究を行う。
PEのコア関数は、局所性と対称性という2つの共通性質を同定することによって明らかにする。
2つの新しい探索タスクを導入し、現在のPEの弱点を定量化する。
論文 参考訳(メタデータ) (2023-10-19T16:15:15Z) - Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。
市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。
結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
論文 参考訳(メタデータ) (2023-08-08T19:38:15Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳(メタデータ) (2023-05-20T05:16:31Z) - Position Embedding Needs an Independent Layer Normalization [14.08997314908106]
本研究では,LaPE(Layer-Adaptive Position Embedding)が様々なタイプのPEで様々な視覚変換器(VT)を改善することを示す。
LaPEはCifar10のViT-Liteの0.94%、Cifar100のCCTの0.98%、ImageNet-1KのDeiTの1.72%の精度を改善している。
論文 参考訳(メタデータ) (2022-12-10T10:38:00Z) - A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。
i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。
PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-11-27T05:15:42Z) - PSViT: Better Vision Transformer via Token Pooling and Attention Sharing [114.8051035856023]
トークンプーリングとアテンション共有を併用したPSViTを提案する。
実験の結果,提案手法は画像ネット分類の精度を最大6.6%向上させることができることがわかった。
論文 参考訳(メタデータ) (2021-08-07T11:30:54Z) - DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。
少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
論文 参考訳(メタデータ) (2021-06-01T13:33:53Z) - Dynamic Programming Encoding for Subword Segmentation in Neural Machine
Translation [80.38621085548013]
本稿では,文をサブワード単位にトークン化するための新しいセグメンテーションアルゴリズムである動的プログラミング(DPE)を提案する。
ターゲットセグメンテーションを見つけるために、正確なログ境界推定と正確なMAP推定を可能にする混合文字サブワード変換器を提案する。
論文 参考訳(メタデータ) (2020-05-03T05:00:50Z) - Temporal Pyramid Network for Action Recognition [129.12076009042622]
本稿では,2次元あるいは3次元のバックボーンネットワークに柔軟に統合可能な汎用時間ピラミッドネットワーク(TPN)を提案する。
TPNは、いくつかのアクション認識データセット上で、他の困難なベースラインよりも一貫して改善されている。
論文 参考訳(メタデータ) (2020-04-07T17:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。