論文の概要: Dynamic Long-Term Time-Series Forecasting via Meta Transformer Networks
- arxiv url: http://arxiv.org/abs/2401.13968v1
- Date: Thu, 25 Jan 2024 06:03:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 15:33:17.999449
- Title: Dynamic Long-Term Time-Series Forecasting via Meta Transformer Networks
- Title(参考訳): メタトランスネットワークを用いた動的時系列予測
- Authors: Muhammad Anwar Ma'sum, MD Rasel Sarkar, Mahardhika Pratama, Savitha
Ramasamy, Sreenatha Anavatti, Lin Liu, Habibullah, Ryszard Kowalczyk
- Abstract要約: 本稿では,メタトランスフォーマーネットワーク(MANTRA)を提案する。
遅い学習者は、速い学習者に適切な表現を仕立てる。
予測長の異なる4つのデータセットを用いた実験は、我々のアプローチの利点を実証している。
- 参考スコア(独自算出の注目度): 17.395188964246923
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A reliable long-term time-series forecaster is highly demanded in practice
but comes across many challenges such as low computational and memory
footprints as well as robustness against dynamic learning environments. This
paper proposes Meta-Transformer Networks (MANTRA) to deal with the dynamic
long-term time-series forecasting tasks. MANTRA relies on the concept of fast
and slow learners where a collection of fast learners learns different aspects
of data distributions while adapting quickly to changes. A slow learner tailors
suitable representations to fast learners. Fast adaptations to dynamic
environments are achieved using the universal representation transformer layers
producing task-adapted representations with a small number of parameters. Our
experiments using four datasets with different prediction lengths demonstrate
the advantage of our approach with at least $3\%$ improvements over the
baseline algorithms for both multivariate and univariate settings. Source codes
of MANTRA are publicly available in
\url{https://github.com/anwarmaxsum/MANTRA}.
- Abstract(参考訳): 信頼性の高い長期時系列予測は、実際には非常に要求されるが、計算量やメモリフットプリントの低下や、動的学習環境に対する堅牢性など、多くの課題に遭遇する。
本稿では,動的時系列予測タスクを扱うためのメタトランスフォーマネットワーク (mantra) を提案する。
MANTRAは、高速で遅い学習者の概念に依存しており、高速学習者の集合は、変化に迅速に適応しながら、データ分散の異なる側面を学習する。
遅い学習者は、速い学習者に適切な表現を仕立てる。
動的環境への高速適応は、少数のパラメータでタスク適応表現を生成するユニバーサル表現変換層を用いて達成される。
予測長の異なる4つのデータセットを用いて実験したところ、多変量および単変量設定のベースラインアルゴリズムよりも少なくとも$3\%の利点が得られた。
MANTRAのソースコードは \url{https://github.com/anwarmaxsum/MANTRA} で公開されている。
関連論文リスト
- TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳(メタデータ) (2024-04-12T13:41:29Z) - Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。
既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。
本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
論文 参考訳(メタデータ) (2024-03-31T17:18:57Z) - MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for
General Time Series Forecasting [18.990322695844675]
トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。
既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。
最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:24:33Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳(メタデータ) (2023-05-25T13:00:46Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Scale-Aware Neural Architecture Search for Multivariate Time Series
Forecasting [7.877931505819402]
MTS予測のためのスケール対応ニューラルネットワーク探索フレームワーク(SNAS4MTF)を提案する。
マルチスケール分解モジュールは、生の時系列をマルチスケールサブシリーズに変換する。
適応グラフ学習モジュールは、異なる時間スケールで異なる変数間の依存関係を推論する。
論文 参考訳(メタデータ) (2021-12-14T15:14:03Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - TimeAutoML: Autonomous Representation Learning for Multivariate
Irregularly Sampled Time Series [27.0506649441212]
本稿では,不規則なサンプリングレートと可変長を持つ多変量時系列(TimeAutoML)の自律表現学習手法を提案する。
実世界のデータセットに関する大規模な実証研究は、提案されたTimeAutoMLが、様々なタスクにおける競合するアプローチを大きなマージンで上回ることを示した。
論文 参考訳(メタデータ) (2020-10-04T15:01:46Z) - Connecting the Dots: Multivariate Time Series Forecasting with Graph
Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。
グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。
提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文 参考訳(メタデータ) (2020-05-24T04:02:18Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳(メタデータ) (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。