論文の概要: Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting

• arxiv url: http://arxiv.org/abs/2601.12467v1
• Date: Sun, 18 Jan 2026 16:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.641512
• Title: Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting
• Title（参考訳）: CNNエンコーダによるパッチレベルトークン化と改良型変圧器時系列予測への注意
• Authors: Saurish Nagrath,
• Abstract要約: 本研究では,局所的時間的表現学習をグローバルな依存性モデリングから分離する2段階予測フレームワークを提案する。 第1段階では、畳み込みニューラルネットワーク(CNN)が固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 第2段階では、Transformerエンコーダが結果のトークンシーケンスを処理して、パッチ間の時間的依存関係をモデル化し、パッチごとの予測を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have shown strong performance in time-series forecasting by leveraging self-attention to model long-range temporal dependencies. However, their effectiveness depends critically on the quality and structure of input representations derived from raw multivariate time-series data. This work proposes a two-stage forecasting framework that explicitly separates local temporal representation learning from global dependency modelling. In the first stage, a convolutional neural network (CNN) operates on fixed-length temporal patches to extract short-range temporal dynamics and non-linear feature interactions, producing compact patch-level token embeddings. Token-level self-attention is subsequently applied during representation learning to refine these embeddings by enabling interactions across temporal patches. In the second stage, a Transformer encoder processes the resulting token sequence to model inter-patch temporal dependencies and generate per-patch forecasts. Experiments conducted on synthetic multivariate time-series data with controlled static and dynamic factors demonstrate that the proposed patch-based tokenization strategy achieves competitive forecasting performance compared to convolutional and patch-based Transformer baselines. The results highlight the importance of structured temporal representations and show that decoupling local temporal encoding from global attention-based modelling yields more effective and stable time-series forecasting.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、長期の時間的依存をモデル化するために自己アテンションを活用することで、時系列予測において強力なパフォーマンスを示している。 しかし、それらの有効性は、生の多変量時系列データから得られる入力表現の品質と構造に大きく依存する。 本研究では,局所的時間的表現学習をグローバルな依存性モデリングから明確に分離する2段階予測フレームワークを提案する。 最初の段階では、畳み込みニューラルネットワーク(CNN)が固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出し、コンパクトなパッチレベルのトークン埋め込みを生成する。 その後、表現学習中に、時間的パッチ間の相互作用を有効にすることで、これらの埋め込みを洗練するために、トークンレベルの自己注意が適用される。 第2段階では、Transformerエンコーダが結果のトークンシーケンスを処理して、パッチ間の時間的依存関係をモデル化し、パッチごとの予測を生成する。 静的および動的因子を制御した合成多変量時系列データを用いて行った実験により,提案したパッチベースのトークン化戦略が,畳み込みおよびパッチベースのトランスフォーマーベースラインと比較して競合予測性能を達成することを示した。 その結果、構造化された時間的表現の重要性を強調し、グローバルアテンションに基づくモデリングから局所的時間的エンコーディングを分離することで、より効果的で安定した時系列予測が得られることを示した。

関連論文リスト

• TimeFormer: Transformer with Attention Modulation Empowered by Temporal Characteristics for Time Series Forecasting [18.890651211582256]
  本研究では,その表現能力の最大化を目的として,時系列データ用に設計された新しいトランスフォーマーアーキテクチャを開発する。 時系列の特徴は,(1)過去から未来への一方向的影響,(2)時間の経過とともに崩壊する現象である。 2つの変調項(MoSA)を持つ自己保持機構が中心となるTimeFormerを提案する。
  論文  参考訳（メタデータ） (2025-10-08T06:07:30Z)
• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting [48.52101281458809]
  トランスフォーマーに基づく時系列予測は、シーケンシャルデータをモデル化するトランスフォーマーの能力により、近年、強い関心を集めている。 チャネル次元からコンテキスト情報を抽出できるエンコーダで構成されるトランスフォーマーベースのアーキテクチャであるSentinelを提案する。 マルチパッチアテンション機構を導入し、パッチ処理を利用して入力シーケンスをトランスフォーマーアーキテクチャに自然に組み込むことができるように構成する。
  論文  参考訳（メタデータ） (2025-03-22T06:01:50Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting [7.805077630467324]
  時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。 最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。 しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
  論文  参考訳（メタデータ） (2022-06-11T10:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。