論文の概要: Positional Encoding in Transformer-Based Time Series Models: A Survey

• arxiv url: http://arxiv.org/abs/2502.12370v1
• Date: Mon, 17 Feb 2025 23:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:30.171671
• Title: Positional Encoding in Transformer-Based Time Series Models: A Survey
• Title（参考訳）: 変圧器を用いた時系列モデルにおける位置符号化
• Authors: Habib Irani, Vangelis Metsis,
• Abstract要約: 位置符号化により、トランスフォーマーは時系列データの固有のシーケンシャルな性質をキャプチャできる。 本研究は,変圧器を用いた時系列モデルにおいて,既存の位置符号化手法を体系的に検討する。
• 参考スコア（独自算出の注目度）: 2.8084422332394428
• License:
• Abstract: Recent advancements in transformer-based models have greatly improved time series analysis, providing robust solutions for tasks such as forecasting, anomaly detection, and classification. A crucial element of these models is positional encoding, which allows transformers to capture the intrinsic sequential nature of time series data. This survey systematically examines existing techniques for positional encoding in transformer-based time series models. We investigate a variety of methods, including fixed, learnable, relative, and hybrid approaches, and evaluate their effectiveness in different time series classification tasks. Furthermore, we outline key challenges and suggest potential research directions to enhance positional encoding strategies. By delivering a comprehensive overview and quantitative benchmarking, this survey intends to assist researchers and practitioners in selecting and designing effective positional encoding methods for transformer-based time series models.
• Abstract（参考訳）: 近年のトランスフォーマーモデルの改良により時系列解析が大幅に改善され,予測や異常検出,分類といったタスクに対する堅牢なソリューションが提供されるようになった。 これらのモデルの重要な要素は位置符号化であり、これはトランスフォーマーが時系列データの固有のシーケンシャルな性質をキャプチャすることを可能にする。 本研究は,変圧器を用いた時系列モデルにおいて,既存の位置符号化手法を体系的に検討する。 我々は,固定的,学習可能,相対的,ハイブリッドなアプローチを含む様々な手法について検討し,その効果を時系列分類タスクで評価する。 さらに、重要な課題を概説し、位置符号化戦略を強化するための潜在的研究の方向性を提案する。 本調査は、総合的な概要と定量的なベンチマークを提供することにより、トランスフォーマーに基づく時系列モデルのための効果的な位置符号化手法の選択と設計を研究者や実践者が支援することを目的とする。

関連論文リスト

• Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかをモデル化するバイオインスパイアネットワークである。 本稿では,スパイキング変換器における相対位置符号化(RPE)の近似手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• VSFormer: Value and Shape-Aware Transformer with Prior-Enhanced Self-Attention for Multivariate Time Series Classification [47.92529531621406]
  識別パターン(形状)と数値情報(値)の両方を組み込んだVSFormerを提案する。 さらに、教師付き情報から派生したクラス固有の事前情報を抽出し、位置エンコーディングを強化する。 30のUEAアーカイブデータセットに対する大規模な実験は、SOTAモデルと比較して、我々の手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-21T07:31:22Z)
• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• FFAD: A Novel Metric for Assessing Generated Time Series Data Utilizing Fourier Transform and Auto-encoder [9.103662085683304]
  Fr'echet Inception Distance (FID) は画像合成における生成モデルを評価する標準的な指標である。 本研究は,Fr'echet Fourier-transform Auto-Encoder Distance (FFAD) と呼ばれるフーリエ変換とオートエンコーダを利用した新しい解を提案する。 実験結果から,異なるクラスから標本を効果的に識別するFFADの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-11T10:26:04Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
  本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。 抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。 予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T13:00:46Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。