論文の概要: MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2311.18780v1
• Date: Thu, 30 Nov 2023 18:24:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:24:40.261567
• Title: MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting
• Title（参考訳）: MultiResFormer: 汎用時系列予測のための適応型マルチリゾリューションモデリング付きトランス
• Authors: Linfeng Du, Ji Xin, Alex Labach, Saba Zuberi, Maksims Volkovs, Rahul G. Krishnan
• Abstract要約: トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。 既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。 最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
• 参考スコア（独自算出の注目度）: 18.990322695844675
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based models have greatly pushed the boundaries of time series forecasting recently. Existing methods typically encode time series data into $\textit{patches}$ using one or a fixed set of patch lengths. This, however, could result in a lack of ability to capture the variety of intricate temporal dependencies present in real-world multi-periodic time series. In this paper, we propose MultiResFormer, which dynamically models temporal variations by adaptively choosing optimal patch lengths. Concretely, at the beginning of each layer, time series data is encoded into several parallel branches, each using a detected periodicity, before going through the transformer encoder block. We conduct extensive evaluations on long- and short-term forecasting datasets comparing MultiResFormer with state-of-the-art baselines. MultiResFormer outperforms patch-based Transformer baselines on long-term forecasting tasks and also consistently outperforms CNN baselines by a large margin, while using much fewer parameters than these baselines.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。 既存のメソッドは通常、パッチの長さの固定セットを使用して、時系列データを$\textit{patches}$にエンコードする。 しかし、これは現実の多周期時系列に存在する複雑な時間的依存関係を捉える能力の欠如をもたらす可能性がある。 本稿では,最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。 具体的には、各層の初期において、時系列データを複数の並列分岐に符号化し、それぞれ検出された周期性を使用して、トランスエンコーダブロックを通過する。 我々は,MultiResFormerと最先端のベースラインを比較し,長期・短期の予測データセットについて広範な評価を行う。 MultiResFormerは、パッチベースのTransformerベースラインを長期予測タスクで上回り、CNNベースラインをはるかに上回り、これらのベースラインよりもはるかに少ないパラメータを使用する。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• DRFormer: Multi-Scale Transformer Utilizing Diverse Receptive Fields for Long Time-Series Forecasting [3.420673126033772]
  本稿では,動的スパース学習アルゴリズムを用いた動的トークン化手法を提案する。 提案するDRFormerは,実世界の様々なデータセットを用いて評価し,既存の手法と比較して,その優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-08-05T07:26:47Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series [7.514010315664322]
  本研究では,階層化されたTime2vec埋め込み,動的グラフCNN,Transformerを統合し,グローバルかつ局所的な空間時間情報を抽出する新たな異常検出手法EdgeConvFormerを提案する。 実験により、EdgeConvFormerは、多変量時系列データから時空間モデリングを学習し、異なるスケールの多くの実世界のデータセットに対する最先端のアプローチよりも優れた異常検出性能を得ることができることが示された。
  論文  参考訳（メタデータ） (2023-12-04T08:38:54Z)
• Multi-resolution Time-Series Transformer for Long-term Forecasting [24.47302799009906]
  様々な時間パターンを異なる解像度で同時モデリングするための新しいフレームワークMTST(Multi- resolution Time-Series Transformer)を提案する。 多くの既存の時系列変換器とは対照的に、異なるスケールで周期成分を抽出するのに適する相対的な位置符号化を用いる。
  論文  参考訳（メタデータ） (2023-11-07T17:18:52Z)
• Compatible Transformer for Irregularly Sampled Multivariate Time Series [75.79309862085303]
  本研究では,各サンプルに対して総合的な時間的相互作用特徴学習を実現するためのトランスフォーマーベースのエンコーダを提案する。 実世界の3つのデータセットについて広範な実験を行い、提案したCoFormerが既存の手法を大幅に上回っていることを検証した。
  論文  参考訳（メタデータ） (2023-10-17T06:29:09Z)
• Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting [11.021398675773055]
  本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。 抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。 予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T13:00:46Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。