論文の概要: PatchMixer: A Patch-Mixing Architecture for Long-Term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2310.00655v2
• Date: Sun, 13 Oct 2024 09:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:01:44.189019
• Title: PatchMixer: A Patch-Mixing Architecture for Long-Term Time Series Forecasting
• Title（参考訳）: PatchMixer: 長期連続予測のためのパッチミキシングアーキテクチャ
• Authors: Zeying Gong, Yujin Tang, Junwei Liang,
• Abstract要約: 本稿では,新しいCNNモデルであるPatchMixerを提案する。 時間的情報を保存するために、置換不変な畳み込み構造を導入する。 最先端のCNNと比べれば、PatchMixerは3.9%、相対的な改善は21.2%である。
• 参考スコア（独自算出の注目度）: 3.7244649185886978
• License:
• Abstract: Although the Transformer has been the dominant architecture for time series forecasting tasks in recent years, a fundamental challenge remains: the permutation-invariant self-attention mechanism within Transformers leads to a loss of temporal information. To tackle these challenges, we propose PatchMixer, a novel CNN-based model. It introduces a permutation-variant convolutional structure to preserve temporal information. Diverging from conventional CNNs in this field, which often employ multiple scales or numerous branches, our method relies exclusively on depthwise separable convolutions. This allows us to extract both local features and global correlations using a single-scale architecture. Furthermore, we employ dual forecasting heads encompassing linear and nonlinear components to better model future curve trends and details. Our experimental results on seven time-series forecasting benchmarks indicate that compared with the state-of-the-art method and the best-performing CNN, PatchMixer yields $3.9\%$ and $21.2\%$ relative improvements, respectively, while being 2-3x faster than the most advanced method.
• Abstract（参考訳）: トランスフォーマーは近年、時系列予測タスクにおいて支配的なアーキテクチャとなっているが、根本的な課題が残っている。 これらの課題に対処するため、我々は新しいCNNベースのモデルであるPatchMixerを提案する。 時間情報を保存するために、置換不変の畳み込み構造を導入する。 この分野では、複数のスケールや複数のブランチを使用する従来のCNNとは違い、本手法は深度的に分離可能な畳み込みにのみ依存する。 これにより、単一スケールアーキテクチャを用いて、局所的な特徴とグローバルな相関を抽出できる。 さらに、線形および非線形成分を含む2重予測ヘッドを用いて、将来の曲線トレンドと詳細をモデル化する。 7つの時系列予測ベンチマーク実験の結果、最先端のCNNと比べ、PatchMixerは3.9\%、相対的改善は21.2\%であり、最も先進的な手法よりも2-3倍高速であることがわかった。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
  時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。 近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。 我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。 提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-05-27T06:49:39Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting [18.990322695844675]
  トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。 既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。 最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:24:33Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures [1.278093617645299]
  本研究は,ノルウェー大陸棚の多段階風速予測に焦点を当てた。 グラフニューラルネットワーク(GNN)アーキテクチャは、時間的相関を学習するために異なる更新機能を持つ空間的依存関係を抽出するために使用された。 LogSparse TransformerとAutoformerが風速予測に適用されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-08-29T13:26:20Z)
• A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting [4.666618110838523]
  時系列予測は、機器ライフサイクル予測、天気予報、交通流予測などの分野で広く利用されている。 一部の学者は、この強力な並列トレーニング能力のために、Transformerを時系列予測に適用しようと試みている。 既存のTransformerメソッドは、予測において決定的な役割を果たす小さな時間セグメントに十分な注意を払わない。
  論文  参考訳（メタデータ） (2022-02-23T10:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。