論文の概要: Synthetic Time Series Forecasting with Transformer Architectures: Extensive Simulation Benchmarks

• arxiv url: http://arxiv.org/abs/2505.20048v1
• Date: Mon, 26 May 2025 14:34:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.514886
• Title: Synthetic Time Series Forecasting with Transformer Architectures: Extensive Simulation Benchmarks
• Title（参考訳）: 変圧器アーキテクチャを用いた合成時系列予測:拡張シミュレーションベンチマーク
• Authors: Ali Forootani, Mohammad Khosravi,
• Abstract要約: 時系列予測はエネルギー、金融、医療といった分野において重要な役割を果たす。 Autoformer、Informer、Patchtst-eachは3種類のアーキテクチャで評価された。 Koopman-enhanced TransformerフレームワークであるDeep Koopformerは、演算子理論の潜在状態モデリングを統合している。
• 参考スコア（独自算出の注目度）: 1.03590082373586
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time series forecasting plays a critical role in domains such as energy, finance, and healthcare, where accurate predictions inform decision-making under uncertainty. Although Transformer-based models have demonstrated success in sequential modeling, their adoption for time series remains limited by challenges such as noise sensitivity, long-range dependencies, and a lack of inductive bias for temporal structure. In this work, we present a unified and principled framework for benchmarking three prominent Transformer forecasting architectures-Autoformer, Informer, and Patchtst-each evaluated through three architectural variants: Minimal, Standard, and Full, representing increasing levels of complexity and modeling capacity. We conduct over 1500 controlled experiments on a suite of ten synthetic signals, spanning five patch lengths and five forecast horizons under both clean and noisy conditions. Our analysis reveals consistent patterns across model families. To advance this landscape further, we introduce the Koopman-enhanced Transformer framework, Deep Koopformer, which integrates operator-theoretic latent state modeling to improve stability and interpretability. We demonstrate its efficacy on nonlinear and chaotic dynamical systems. Our results highlight Koopman based Transformer as a promising hybrid approach for robust, interpretable, and theoretically grounded time series forecasting in noisy and complex real-world conditions.
• Abstract（参考訳）: 時系列予測は、エネルギー、金融、医療といった領域において重要な役割を担い、正確な予測は不確実性の下で意思決定を知らせる。 トランスフォーマーベースのモデルはシーケンシャルなモデリングに成功しているが、ノイズ感度、長距離依存、時間構造に対する帰納バイアスの欠如といった課題によって、時系列への採用は制限されている。 本研究は,3つのアーキテクチャ(Minimal, Standard, Full)を通じて評価された3つの著名なTransformer予測アーキテクチャ(Autoformer,Informer,Patchtst-each)をベンチマークする,統一的で原則化されたフレームワークを提案する。 我々は,5つのパッチ長と5つの予測地平線にまたがる10種類の合成信号に対して,1500以上の制御実験を行った。 分析の結果,モデルファミリ間の一貫したパターンが明らかになった。 この状況をさらに進めるために,演算子理論の潜在状態モデリングを統合して安定性と解釈性を向上させる,Koopman-enhanced TransformerフレームワークであるDeep Koopformerを導入する。 非線形およびカオス力学系におけるその有効性を示す。 以上の結果から,Koopman をベースとした Transformer は,実世界のノイズや複雑な条件下での時系列予測を,頑健で解釈可能,理論的に基礎づけた手法として期待できることを示す。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting [10.32586981170693]
  Inverted Seasonal-Trend Decomposition Transformer (Ister) 本稿では,解釈可能性,計算効率,予測精度を向上させる新しいDotアテンション機構を提案する。 Isterはコンポーネントのコントリビューションを直感的に視覚化し、モデルの意思決定プロセスに光を流し、予測結果の透明性を高める。
  論文  参考訳（メタデータ） (2024-12-25T06:37:19Z)
• A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting [0.07916635054977067]
  プルーニングは、ニューラルネットワークのパラメータ数を削減し、計算を保存するための確立されたアプローチである。 本研究では,これらのプルーニング戦略がモデルサイズ,演算,推論時間などの予測性能および計算面に与える影響について検討する。 ハードウェアとソフトウェアが対応する場合でも、構造化プルーニングは大幅な時間節約を達成できないことを実証する。
  論文  参考訳（メタデータ） (2024-12-17T13:07:31Z)
• Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning [7.967995669387532]
  Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。 時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。 性能が良く、より複雑でない代替モデル一式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T12:47:42Z)
• Continuous Spatiotemporal Transformers [2.485182034310304]
  連続時間変換器(Continuous Stemporal Transformer, CST)は, 連続系をモデル化するためのトランスフォーマアーキテクチャである。 この新しいフレームワークは、ソボレフ空間における最適化による連続的な表現と出力を保証する。 我々は従来の変圧器や他のスムーズな時相力学モデリング手法に対してCSTをベンチマークし、合成および実システムにおける多くのタスクにおいて優れた性能を達成する。
  論文  参考訳（メタデータ） (2023-01-31T00:06:56Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting [68.86835407617778]
  Autoformerは、Auto-Correlation機構を備えた、新しい分解アーキテクチャである。 長期的な予測では、Autoformerは6つのベンチマークで相対的に改善され、最先端の精度が得られる。
  論文  参考訳（メタデータ） (2021-06-24T13:43:43Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。