論文の概要: Dynamic Long-Term Time-Series Forecasting via Meta Transformer Networks

• arxiv url: http://arxiv.org/abs/2401.13968v1
• Date: Thu, 25 Jan 2024 06:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:33:17.999449
• Title: Dynamic Long-Term Time-Series Forecasting via Meta Transformer Networks
• Title（参考訳）: メタトランスネットワークを用いた動的時系列予測
• Authors: Muhammad Anwar Ma'sum, MD Rasel Sarkar, Mahardhika Pratama, Savitha Ramasamy, Sreenatha Anavatti, Lin Liu, Habibullah, Ryszard Kowalczyk
• Abstract要約: 本稿では,メタトランスフォーマーネットワーク(MANTRA)を提案する。 遅い学習者は、速い学習者に適切な表現を仕立てる。 予測長の異なる4つのデータセットを用いた実験は、我々のアプローチの利点を実証している。
• 参考スコア（独自算出の注目度）: 17.395188964246923
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A reliable long-term time-series forecaster is highly demanded in practice but comes across many challenges such as low computational and memory footprints as well as robustness against dynamic learning environments. This paper proposes Meta-Transformer Networks (MANTRA) to deal with the dynamic long-term time-series forecasting tasks. MANTRA relies on the concept of fast and slow learners where a collection of fast learners learns different aspects of data distributions while adapting quickly to changes. A slow learner tailors suitable representations to fast learners. Fast adaptations to dynamic environments are achieved using the universal representation transformer layers producing task-adapted representations with a small number of parameters. Our experiments using four datasets with different prediction lengths demonstrate the advantage of our approach with at least $3\%$ improvements over the baseline algorithms for both multivariate and univariate settings. Source codes of MANTRA are publicly available in \url{https://github.com/anwarmaxsum/MANTRA}.
• Abstract（参考訳）: 信頼性の高い長期時系列予測は、実際には非常に要求されるが、計算量やメモリフットプリントの低下や、動的学習環境に対する堅牢性など、多くの課題に遭遇する。 本稿では,動的時系列予測タスクを扱うためのメタトランスフォーマネットワーク (mantra) を提案する。 MANTRAは、高速で遅い学習者の概念に依存しており、高速学習者の集合は、変化に迅速に適応しながら、データ分散の異なる側面を学習する。 遅い学習者は、速い学習者に適切な表現を仕立てる。 動的環境への高速適応は、少数のパラメータでタスク適応表現を生成するユニバーサル表現変換層を用いて達成される。 予測長の異なる4つのデータセットを用いて実験したところ、多変量および単変量設定のベースラインアルゴリズムよりも少なくとも$3\%の利点が得られた。 MANTRAのソースコードは \url{https://github.com/anwarmaxsum/MANTRA} で公開されている。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• DRFormer: Multi-Scale Transformer Utilizing Diverse Receptive Fields for Long Time-Series Forecasting [3.420673126033772]
  本稿では,動的スパース学習アルゴリズムを用いた動的トークン化手法を提案する。 提案するDRFormerは,実世界の様々なデータセットを用いて評価し,既存の手法と比較して,その優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-08-05T07:26:47Z)
• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
  時系列データは、その固有の長短の依存関係によって特徴づけられる。 本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。 我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-12T13:41:29Z)
• MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting [18.990322695844675]
  トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。 既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。 最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:24:33Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• TimeAutoML: Autonomous Representation Learning for Multivariate Irregularly Sampled Time Series [27.0506649441212]
  本稿では,不規則なサンプリングレートと可変長を持つ多変量時系列(TimeAutoML)の自律表現学習手法を提案する。 実世界のデータセットに関する大規模な実証研究は、提案されたTimeAutoMLが、様々なタスクにおける競合するアプローチを大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-10-04T15:01:46Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。