論文の概要: AutoHFormer: Efficient Hierarchical Autoregressive Transformer for Time Series Prediction

• arxiv url: http://arxiv.org/abs/2506.16001v1
• Date: Thu, 19 Jun 2025 03:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.927755
• Title: AutoHFormer: Efficient Hierarchical Autoregressive Transformer for Time Series Prediction
• Title（参考訳）: AutoHFormer: 時系列予測のための効率的な階層型自己回帰変換器
• Authors: Qianru Zhang, Honggang Wen, Ming Li, Dong Huang, Siu-Ming Yiu, Christian S. Jensen, Pietro Liò,
• Abstract要約: 時系列予測には、3つの競合する目標を同時に達成するアーキテクチャが必要である。 本稿では,これらの課題に対処する階層型自己回帰変換器であるAutoHFormerを紹介する。 総合的な実験により、AutoHFormer 10.76XはP08のPatchTSTと比較して高速なトレーニングと6.06倍のメモリ削減を示した。
• 参考スコア（独自算出の注目度）: 36.239648954658534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series forecasting requires architectures that simultaneously achieve three competing objectives: (1) strict temporal causality for reliable predictions, (2) sub-quadratic complexity for practical scalability, and (3) multi-scale pattern recognition for accurate long-horizon forecasting. We introduce AutoHFormer, a hierarchical autoregressive transformer that addresses these challenges through three key innovations: 1) Hierarchical Temporal Modeling: Our architecture decomposes predictions into segment-level blocks processed in parallel, followed by intra-segment sequential refinement. This dual-scale approach maintains temporal coherence while enabling efficient computation. 2) Dynamic Windowed Attention: The attention mechanism employs learnable causal windows with exponential decay, reducing complexity while preserving precise temporal relationships. This design avoids both the anti-causal violations of standard transformers and the sequential bottlenecks of RNN hybrids. 3) Adaptive Temporal Encoding: a novel position encoding system is adopted to capture time patterns at multiple scales. It combines fixed oscillating patterns for short-term variations with learnable decay rates for long-term trends. Comprehensive experiments demonstrate that AutoHFormer 10.76X faster training and 6.06X memory reduction compared to PatchTST on PEMS08, while maintaining consistent accuracy across 96-720 step horizons in most of cases. These breakthroughs establish new benchmarks for efficient and precise time series modeling. Implementations of our method and all baselines in hierarchical autoregressive mechanism are available at https://github.com/lizzyhku/Autotime.
• Abstract（参考訳）: 時系列予測には,(1)信頼性のある予測のための厳密な時間的因果性,(2)実用的なスケーラビリティのためのサブクアクラティック複雑度,(3)正確な長距離予測のためのマルチスケールパターン認識という,3つの競合する目標を同時に達成するアーキテクチャが必要である。 私たちは3つの重要なイノベーションを通じてこれらの課題に対処する階層的な自己回帰トランスフォーマーであるAutoHFormerを紹介します。 1)階層型テンポラルモデリング:我々のアーキテクチャは、予測を並列に処理されたセグメントレベルブロックに分解し、次にセグメント内シーケンシャルな改善を行う。 この二重スケールのアプローチは、効率的な計算を可能にしながら時間的コヒーレンスを維持する。 2) 動的窓の注意: 注意機構は学習可能な因果窓を指数関数的に減衰させ, 時間的関係を正確に保ちながら複雑さを低減させる。 この設計は、標準変圧器の反因果違反とRNNハイブリッドのシーケンシャルボトルネックの両方を回避する。 3)適応的テンポラルエンコーディング:複数スケールで時間パターンをキャプチャするために,新しい位置符号化方式を採用する。 短期的な変動に対する固定振動パターンと、長期的な傾向に対する学習可能な減衰率を組み合わせる。 総合的な実験によると、AutoHFormer 10.76XはPEMS08のPatchTSTに比べて高速なトレーニングと6.06倍のメモリ削減を実現し、ほとんどの場合96-720ステップの水平線で一貫した精度を維持している。 これらのブレークスルーは、効率的かつ正確な時系列モデリングのための新しいベンチマークを確立する。 階層的自己回帰機構におけるメソッドの実装とすべてのベースラインは、https://github.com/lizzyhku/Autotime.comで利用可能である。

関連論文リスト

• LMS-AutoTSF: Learnable Multi-Scale Decomposition and Integrated Autocorrelation for Time Series Forecasting [4.075971633195745]
  自動相関を組み込んだ新しい時系列予測アーキテクチャであるLMS-AutoTSFを紹介する。 事前定義されたトレンドと季節的なコンポーネントに依存するモデルとは異なり、LMS-AutoTSFはスケール毎に2つの独立したエンコーダを使用する。 このアプローチにおける重要な革新は、時間ステップの差分を計算することによって達成される自己相関の統合です。
  論文  参考訳（メタデータ） (2024-12-09T09:31:58Z)
• Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
  拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。 3つの戦略を含む新しい量子化フレームワークを導入する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
  論文  参考訳（メタデータ） (2024-07-28T17:46:15Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• PatchMixer: A Patch-Mixing Architecture for Long-Term Time Series Forecasting [3.7244649185886978]
  本稿では,新しいCNNモデルであるPatchMixerを提案する。 時間的情報を保存するために、置換不変な畳み込み構造を導入する。 最先端のCNNと比べれば、PatchMixerは3.9%、相対的な改善は21.2%である。
  論文  参考訳（メタデータ） (2023-10-01T12:47:59Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting [25.417560221400347]
  長周期時系列予測(LSTF)は高い予測能力を必要とする。 最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。 我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
  論文  参考訳（メタデータ） (2020-12-14T11:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。