論文の概要: HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2510.07084v1
• Date: Wed, 08 Oct 2025 14:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.567196
• Title: HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
• Title（参考訳）: HTMformer:時系列予測のためのハイブリッド時間と多変量変換器
• Authors: Tan Wang, Yun Wei Dong, Tao Zhang, Qi Wang,
• Abstract要約: トランスフォーマーに基づく手法は時系列予測において顕著な結果を得た。 既存のTransformerは、時間的依存関係を過度に強調する傾向があるため、シーケンスモデリングに制限がある。 変換器の性能は,効率的な表現の学習に使用される埋め込み法に大きく依存していることがわかった。
• 参考スコア（独自算出の注目度）: 14.205408555688306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based methods have achieved impressive results in time series forecasting. However, existing Transformers still exhibit limitations in sequence modeling as they tend to overemphasize temporal dependencies. This incurs additional computational overhead without yielding corresponding performance gains. We find that the performance of Transformers is highly dependent on the embedding method used to learn effective representations. To address this issue, we extract multivariate features to augment the effective information captured in the embedding layer, yielding multidimensional embeddings that convey richer and more meaningful sequence representations. These representations enable Transformer-based forecasters to better understand the series. Specifically, we introduce Hybrid Temporal and Multivariate Embeddings (HTME). The HTME extractor integrates a lightweight temporal feature extraction module with a carefully designed multivariate feature extraction module to provide complementary features, thereby achieving a balance between model complexity and performance. By combining HTME with the Transformer architecture, we present HTMformer, leveraging the enhanced feature extraction capability of the HTME extractor to build a lightweight forecaster. Experiments conducted on eight real-world datasets demonstrate that our approach outperforms existing baselines in both accuracy and efficiency.
• Abstract（参考訳）: トランスフォーマーに基づく手法は時系列予測において顕著な結果を得た。 しかし、既存のTransformerは、時間的依存関係を過度に強調する傾向があるため、シーケンスモデリングに制限がある。 これにより、対応するパフォーマンスのゲインを得ることなく、さらなる計算オーバーヘッドが生じる。 その結果,トランスフォーマーの性能は,効率的な表現の学習に使用される埋め込み法に大きく依存していることが判明した。 この問題に対処するために、我々は、埋め込み層でキャプチャされた有効情報を増大させるために多変量の特徴を抽出し、よりリッチで有意義なシーケンス表現を伝達する多次元埋め込みを生成する。 これらの表現により、Transformerベースの予測器はシリーズをよりよく理解することができる。 具体的には,Hybrid Temporal and Multivariate Embeddings (HTME)を紹介する。 HTME抽出器は、軽量な時間的特徴抽出モジュールと慎重に設計された多変量特徴抽出モジュールを統合し、相補的な特徴を提供することにより、モデルの複雑さと性能のバランスを実現する。 HTMEとTransformerアーキテクチャを組み合わせることで,HTME抽出器の特徴抽出機能を活用し,軽量な予測器を構築する。 8つの実世界のデータセットで実施された実験は、我々のアプローチが既存のベースラインを精度と効率の両方で上回ることを示した。

関連論文リスト

• Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations [2.4302562182247636]
  私たちはTransformerアーキテクチャを再使用して、クロスタイムとクロス変数の依存関係の両方をモデル化します。 提案手法は13の実世界のデータセットにまたがって最先端のパフォーマンスを実現し,オリジナルモデルよりも最大20.7%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-01T04:59:05Z)
• A temporal scale transformer framework for precise remaining useful life prediction in fuel cells [10.899223392837936]
  TS Transformer (Temporal Scale Transformer) は、逆変換器(i Transformer)の拡張版である。 各タイムステップを入力トークンとして扱う従来のトランスフォーマーとは異なり、TSTransformerは異なる長さのシーケンスを異なる段階のトークンにマッピングし、シーケンス間モデリングを行う。 局所的な特徴抽出を改善し、時間スケールの特徴を捉え、トークン数と計算コストを削減する。
  論文  参考訳（メタデータ） (2025-04-08T23:42:54Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。