論文の概要: Beyond Similarity: Temporal Operator Attention for Time Series Analysis

• arxiv url: http://arxiv.org/abs/2605.11287v1
• Date: Mon, 11 May 2026 22:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.452818
• Title: Beyond Similarity: Temporal Operator Attention for Time Series Analysis
• Title（参考訳）: 類似性を超えて: 時系列分析のための時間演算子アテンション
• Authors: Jevon Twitty, Vinh Pham, Nitiwith Rotchanarak, Viresh Pati, Yubin Kim, Shihao Yang, Jiecheng Lu,
• Abstract要約: 時系列予測における永続的なパラドックスは、構造的に単純で線形なモデルが高容量トランスフォーマーより優れていることである。 我々は、明示的に学習可能なシーケンス空間演算子で注意を喚起するフレームワークである、$textbf Operator Attention (TOA)$を提案する。 より高密度な$N倍の演算子を実現するために,トレーニングを安定させ,自明な記憶を防止できる高分散ドロップアウト機構を導入する。
• 参考スコア（独自算出の注目度）: 5.084091872064936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A persistent paradox in time-series forecasting is that structurally simple MLP and linear models often outperform high-capacity Transformers. We argue that this gap arises from a mismatch in the sequence-modeling primitive: while many time-series dynamics are governed by global temporal operators (e.g., filtering and harmonic structure), standard attention forms each output as a convex combination of inputs. This restricts its ability to represent signed and oscillatory transformations that are fundamental to temporal signal processing. We formalize this limitation as a simplex-constrained mixing bottleneck in softmax attention, which becomes especially restrictive for operator-driven time-series tasks. To address this, we propose $\textbf{Temporal Operator Attention (TOA)}$, a framework that augments attention with explicit, learnable sequence-space operators, enabling direct signed mixing across time while preserving input-dependent adaptivity. To make dense $N \times N$ operators practical, we introduce Stochastic Operator Regularization, a high-variance dropout mechanism that stabilizes training and prevents trivial memorization. Across forecasting, anomaly detection, and classification benchmarks, TOA consistently improves performance when integrated into standard backbones such as PatchTST and iTransformer, with particularly strong gains in reconstruction-heavy tasks. These results suggest that explicit operator learning is a key ingredient for effective time-series modeling.
• Abstract（参考訳）: 時系列予測における永続的なパラドックスは、構造的に単純なMLPと線形モデルが高容量トランスフォーマーより優れていることである。 多くの時系列力学は大域的時間演算子(例えばフィルタリングや調和構造)によって支配されるが、標準的注意は入力の凸結合として各出力を形成する。 これにより、時間信号処理の基本となる符号および振動変換を表現する能力が制限される。 我々は、この制限をソフトマックスの注意における単純なx制約混合ボトルネックとして定式化し、演算子駆動の時系列タスクには特に制限となる。 そこで本稿では,明示的で学習可能なシーケンス空間演算子で注意を喚起するフレームワークである$\textbf{Temporal Operator Attention (TOA)}$を提案する。 より高密度な$N \times N$演算子を実現するために,Stochastic Operator Regularizationを導入する。 予測、異常検出、分類ベンチマーク全体にわたって、TOAは、PatchTSTやiTransformerといった標準バックボーンに統合された場合、パフォーマンスを一貫して改善し、特に再構築負荷の高いタスクが向上した。 これらの結果は,演算子学習が効果的な時系列モデリングの鍵となることを示唆している。

関連論文リスト

• The Phasor Transformer: Resolving Attention Bottlenecks on the Unit Circle [0.09229852843814058]
  textbfPhasor Transformer ブロックは、単位円多様体 $S1$ 上のシーケンス状態を表すフェーズネイティブな代替である。 これらのブロックを積み重ねると textbfLarge Phasor Model (LPM) が定義される。 その結果,時間列の大規模モデルスケーリングが,決定論的大域的結合を伴う幾何制約位相から生じることを実証し,明確な効率・性能のフロンティアを確立した。
  論文  参考訳（メタデータ） (2026-03-18T07:18:41Z)
• Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
  本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。 畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
  論文  参考訳（メタデータ） (2026-01-18T16:16:01Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Rough Transformers: Lightweight and Continuous Time Series Modelling through Signature Patching [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。