論文の概要: Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2503.17658v1
• Date: Sat, 22 Mar 2025 06:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:02.936878
• Title: Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting
• Title（参考訳）: Sentinel: 時系列予測のための時間・チャネルアテンション付きマルチパッチトランス
• Authors: Davide Villaboni, Alberto Castellini, Ivan Luciano Danesi, Alessandro Farinelli,
• Abstract要約: トランスフォーマーに基づく時系列予測は、シーケンシャルデータをモデル化するトランスフォーマーの能力により、近年、強い関心を集めている。 チャネル次元からコンテキスト情報を抽出できるエンコーダで構成されるトランスフォーマーベースのアーキテクチャであるSentinelを提案する。 マルチパッチアテンション機構を導入し、パッチ処理を利用して入力シーケンスをトランスフォーマーアーキテクチャに自然に組み込むことができるように構成する。
• 参考スコア（独自算出の注目度）: 48.52101281458809
• License:
• Abstract: Transformer-based time series forecasting has recently gained strong interest due to the ability of transformers to model sequential data. Most of the state-of-the-art architectures exploit either temporal or inter-channel dependencies, limiting their effectiveness in multivariate time-series forecasting where both types of dependencies are crucial. We propose Sentinel, a full transformer-based architecture composed of an encoder able to extract contextual information from the channel dimension, and a decoder designed to capture causal relations and dependencies across the temporal dimension. Additionally, we introduce a multi-patch attention mechanism, which leverages the patching process to structure the input sequence in a way that can be naturally integrated into the transformer architecture, replacing the multi-head splitting process. Extensive experiments on standard benchmarks demonstrate that Sentinel, because of its ability to "monitor" both the temporal and the inter-channel dimension, achieves better or comparable performance with respect to state-of-the-art approaches.
• Abstract（参考訳）: トランスフォーマーに基づく時系列予測は、シーケンシャルデータをモデル化するトランスフォーマーの能力により、近年、強い関心を集めている。 最先端アーキテクチャのほとんどは、時間的またはチャネル間依存関係を悪用し、両方のタイプの依存関係が不可欠であるような、多変量時系列予測における有効性を制限している。 本稿では,チャネル次元からコンテキスト情報を抽出できるエンコーダと,時間次元の因果関係と依存性を捉えるように設計されたデコーダからなる,フルトランスフォーマベースのアーキテクチャであるSentinelを提案する。 さらに,マルチパッチアテンション機構を導入し,マルチヘッド分割プロセスを置き換えることで,インプットシーケンスをトランスフォーマアーキテクチャに自然に統合可能な方法で構造化する。 標準ベンチマークでの広範囲な実験により、Sentinelは時間次元とチャネル間次元の両方を監視できるので、最先端のアプローチに関して、より良いあるいは同等のパフォーマンスを達成できることが示された。

関連論文リスト

• Sensorformer: Cross-patch attention with global-patch compression is effective for high-dimensional multivariate time series forecasting [12.103678233732584]
  本稿では,まずグローバルパッチ情報を圧縮し,同時に圧縮された表現からクロス変数およびクロスタイム依存関係を抽出する新しい変換器であるSensorformerを提案する。 センサフォーマは、変数間の動的因果ラグが存在する場合でも、適切な変数間の相関関係と因果関係を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2025-01-06T03:14:47Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Rough Transformers: Lightweight and Continuous Time Series Modelling through Signature Patching [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• Multi-resolution Time-Series Transformer for Long-term Forecasting [24.47302799009906]
  様々な時間パターンを異なる解像度で同時モデリングするための新しいフレームワークMTST(Multi- resolution Time-Series Transformer)を提案する。 多くの既存の時系列変換器とは対照的に、異なるスケールで周期成分を抽出するのに適する相対的な位置符号化を用いる。
  論文  参考訳（メタデータ） (2023-11-07T17:18:52Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。