論文の概要: SETTer: Sparse-Encoder Transformer for Long-term Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2609.20086v1
• Date: Thu, 17 Sep 2026 11:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.248252
• Title: SETTer: Sparse-Encoder Transformer for Long-term Multivariate Time Series Forecasting
• Title（参考訳）: SETTer: 長期多変量時系列予測のためのスパースエンコーダ変換器
• Abstract要約: 長期多変量時系列は、電力システムやトレーディングなど、多くの応用分野において重要な役割を果たす。 近年の研究では, 変圧器を用いたアプローチは, 注意機構により長期予測に極めて有効であることが示されている。 本稿では,これらの課題に対処するトランスフォーマーモデルSETTerを紹介する。
• 参考スコア（独自算出の注目度）: 27.151780750119556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term multivariate time series plays a significant role in many application areas such as power systems, trading, etc. However, their accurate prediction is quite difficult for conventional forecasting methods as they often exhibit high dimensionality and complex relationships. Recent works show that transformer-based approaches are quite effective for long-term forecasting thanks to their attention mechanism. However, in the presence of complex high-dimensional inputs, they show evidence of oversmoothing, limited capacity, and opacity. To this end, this paper introduces SETTer, a transformer-based model that addresses these challenges by incorporating novel techniques for decoupled self-attention and hybrid masking. The proposed techniques enable SETTer to effectively capture the dominant short- and long-term patterns across the temporal and channel dimensions. In addition, we enrich the model layers with simple explainable structures that indicate the discriminative pattern of SETTer. We show that with a single-layer transformer architecture, SETTer can effectively model long-term dependencies in the presence of varying data complexities. Extensive experiments on real-word benchmark datasets for long-term multivariate time series forecasting demonstrate that SETTer outperforms state-of-the-art models in 88% of the scenarios.
• Abstract（参考訳）: 長期多変量時系列は、電力システムやトレーディングなど、多くの応用分野において重要な役割を果たす。 しかし、それらの正確な予測は、しばしば高次元と複雑な関係を示すため、従来の予測手法では極めて困難である。 近年の研究では, 変圧器を用いたアプローチは, 注意機構により長期予測に極めて有効であることが示されている。 しかし、複雑な高次元入力の存在下では、過密、限られた能力、不透明性の証拠が示される。 本稿では,これらの課題に対処するトランスフォーマーモデルSETTerを紹介する。 提案手法により,SETTerは時間次元とチャネル次元にまたがる支配的短期パターンと長期パターンを効果的に捉えることができる。 さらに,SETTerの識別パターンを示す単純な説明可能な構造をモデル層に拡張する。 単一層トランスアーキテクチャにより、SETTerは様々なデータ複雑度が存在する場合の長期依存を効果的にモデル化できることを示す。 長期多変量時系列予測のための実単語ベンチマークデータセットの大規模な実験は、SETTerが88%のシナリオで最先端モデルより優れていることを示した。

関連論文リスト

• DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters [50.43534351968113]
  既存の生成時系列モデルは、時系列データの多次元特性にうまく対応していない。 動画生成にテキストガイダンスを組み込んだマルチモーダル拡散変換器に着想を得て,Diffusion Transformer for Time Series (DiTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T10:48:13Z)
• LATST: Are Transformers Necessarily Complex for Time-Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach [1.4228349888743608]
  本稿では、パッチ埋め込みとエンコーダデコーダトランスフォーマーベースのアーキテクチャを統合する新しいモデルであるPatchformerを紹介する。 Patchformerは、モデル性能と過去のシーケンスの長さの正の相関に従う唯一のモデルとして説明される。
  論文  参考訳（メタデータ） (2024-04-16T10:56:33Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。