論文の概要: Beyond Similarity: Temporal Operator Attention for Time Series Analysis
- arxiv url: http://arxiv.org/abs/2605.11287v1
- Date: Mon, 11 May 2026 22:13:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.452818
- Title: Beyond Similarity: Temporal Operator Attention for Time Series Analysis
- Title（参考訳）: 類似性を超えて: 時系列分析のための時間演算子アテンション
- Abstract要約: 時系列予測における永続的なパラドックスは、構造的に単純で線形なモデルが高容量トランスフォーマーより優れていることである。
我々は、明示的に学習可能なシーケンス空間演算子で注意を喚起するフレームワークである、$textbf Operator Attention (TOA)$を提案する。
より高密度な$N倍の演算子を実現するために,トレーニングを安定させ,自明な記憶を防止できる高分散ドロップアウト機構を導入する。
- 参考スコア（独自算出の注目度）: 5.084091872064936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A persistent paradox in time-series forecasting is that structurally simple MLP and linear models often outperform high-capacity Transformers. We argue that this gap arises from a mismatch in the sequence-modeling primitive: while many time-series dynamics are governed by global temporal operators (e.g., filtering and harmonic structure), standard attention forms each output as a convex combination of inputs. This restricts its ability to represent signed and oscillatory transformations that are fundamental to temporal signal processing. We formalize this limitation as a simplex-constrained mixing bottleneck in softmax attention, which becomes especially restrictive for operator-driven time-series tasks. To address this, we propose $\textbf{Temporal Operator Attention (TOA)}$, a framework that augments attention with explicit, learnable sequence-space operators, enabling direct signed mixing across time while preserving input-dependent adaptivity. To make dense $N \times N$ operators practical, we introduce Stochastic Operator Regularization, a high-variance dropout mechanism that stabilizes training and prevents trivial memorization. Across forecasting, anomaly detection, and classification benchmarks, TOA consistently improves performance when integrated into standard backbones such as PatchTST and iTransformer, with particularly strong gains in reconstruction-heavy tasks. These results suggest that explicit operator learning is a key ingredient for effective time-series modeling.
- Abstract（参考訳）: 時系列予測における永続的なパラドックスは、構造的に単純なMLPと線形モデルが高容量トランスフォーマーより優れていることである。
多くの時系列力学は大域的時間演算子(例えばフィルタリングや調和構造)によって支配されるが、標準的注意は入力の凸結合として各出力を形成する。
これにより、時間信号処理の基本となる符号および振動変換を表現する能力が制限される。
我々は、この制限をソフトマックスの注意における単純なx制約混合ボトルネックとして定式化し、演算子駆動の時系列タスクには特に制限となる。
そこで本稿では,明示的で学習可能なシーケンス空間演算子で注意を喚起するフレームワークである$\textbf{Temporal Operator Attention (TOA)}$を提案する。
より高密度な$N \times N$演算子を実現するために,Stochastic Operator Regularizationを導入する。
予測、異常検出、分類ベンチマーク全体にわたって、TOAは、PatchTSTやiTransformerといった標準バックボーンに統合された場合、パフォーマンスを一貫して改善し、特に再構築負荷の高いタスクが向上した。
これらの結果は,演算子学習が効果的な時系列モデリングの鍵となることを示唆している。
関連論文リスト
- Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳（メタデータ） (2026-06-29T08:58:09Z) - Preserving Temporal Dynamics in Time Series Generation [0.2099922236065961]
時系列データの増大は回帰指向予測タスクにおいて重要な役割を果たす。
既存のアプローチは主に、限界データ分布のマッチングに重点を置いている。
モデルに依存しないマルコフ・チェイン・モンテカルロフレームワークを提案し、分布シフトを緩和し、時間的ダイナミクスを保存する。
論文 参考訳（メタデータ） (2026-04-29T20:32:45Z) - The Phasor Transformer: Resolving Attention Bottlenecks on the Unit Circle [0.09229852843814058]
textbfPhasor Transformer ブロックは、単位円多様体 $S1$ 上のシーケンス状態を表すフェーズネイティブな代替である。
これらのブロックを積み重ねると textbfLarge Phasor Model (LPM) が定義される。
その結果,時間列の大規模モデルスケーリングが,決定論的大域的結合を伴う幾何制約位相から生じることを実証し,明確な効率・性能のフロンティアを確立した。
論文 参考訳（メタデータ） (2026-03-18T07:18:41Z) - Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。
畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。
その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
論文 参考訳（メタデータ） (2026-01-18T16:16:01Z) - Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。
最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。
本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
論文 参考訳（メタデータ） (2025-07-28T00:09:28Z) - Sequence Complementor: Complementing Transformers For Time Series Forecasting with Learnable Sequences [5.244482076690776]
シーケンス表現の表現能力は、時間予測においてTransformerのパフォーマンスに影響を与える重要な要因であることがわかった。
本稿では,シークエンス・コンプリメンタを用いた新しいアテンション機構を提案し,情報理論の観点から実現可能であることを示す。
論文 参考訳（メタデータ） (2025-01-06T03:08:39Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Rough Transformers: Lightweight and Continuous Time Series Modelling through Signature Patching [46.58170057001437]
本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。
様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
論文 参考訳（メタデータ） (2024-05-31T14:00:44Z) - A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳（メタデータ） (2024-02-26T04:39:01Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳（メタデータ） (2024-01-22T13:15:40Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。