Fugu-MT 論文翻訳(概要): Test Time Learning for Time Series Forecasting

論文の概要: Test Time Learning for Time Series Forecasting

arxiv url: http://arxiv.org/abs/2409.14012v1
Date: Wed, 2 Oct 2024 16:40:10 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:06:38.369677
Title: Test Time Learning for Time Series Forecasting
Title（参考訳）: 時系列予測のためのテスト時間学習
Authors: Panayiotis Christou, Shichu Chen, Xupeng Chen, Parijat Dube,
Abstract要約: テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
参考スコア（独自算出の注目度）: 1.4605709124065924
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Time-series forecasting has seen significant advancements with the introduction of token prediction mechanisms such as multi-head attention. However, these methods often struggle to achieve the same performance as in language modeling, primarily due to the quadratic computational cost and the complexity of capturing long-range dependencies in time-series data. State-space models (SSMs), such as Mamba, have shown promise in addressing these challenges by offering efficient solutions with linear RNNs capable of modeling long sequences with larger context windows. However, there remains room for improvement in accuracy and scalability. We propose the use of Test-Time Training (TTT) modules in a parallel architecture to enhance performance in long-term time series forecasting. Through extensive experiments on standard benchmark datasets, we demonstrate that TTT modules consistently outperform state-of-the-art models, including the Mamba-based TimeMachine, particularly in scenarios involving extended sequence and prediction lengths. Our results show significant improvements in Mean Squared Error (MSE) and Mean Absolute Error (MAE), especially on larger datasets such as Electricity, Traffic, and Weather, underscoring the effectiveness of TTT in capturing long-range dependencies. Additionally, we explore various convolutional architectures within the TTT framework, showing that even simple configurations like 1D convolution with small filters can achieve competitive results. This work sets a new benchmark for time-series forecasting and lays the groundwork for future research in scalable, high-performance forecasting models.
Abstract（参考訳）: 時系列予測は,マルチヘッドアテンションなどのトークン予測機構の導入によって,大幅な進歩を遂げている。しかしながら、これらの手法は、主に2次計算コストと時系列データにおける長距離依存をキャプチャする複雑さのために、言語モデリングと同じパフォーマンスを達成するのに苦労することが多い。 Mambaのような状態空間モデル(SSM)は、より大きなコンテキストウィンドウを持つ長いシーケンスをモデル化できる線形RNNによる効率的なソリューションを提供することで、これらの課題に対処することを約束している。しかし、精度とスケーラビリティの改善の余地は残っている。本稿では, 長期連続予測における性能向上のために, 並列アーキテクチャにおけるTTTモジュールの利用を提案する。標準ベンチマークデータセットに関する広範な実験を通じて、TTTモジュールは、特に拡張シーケンスや予測長を含むシナリオにおいて、MambaベースのTimeMachineを含む最先端モデルよりも一貫して優れていることを示した。以上の結果から,Mean Squared Error (MSE) とMean Absolute Error (MAE) の大幅な改善,特にElectricity, Traffic, Weatherなどの大規模データセットにおいて,TTTが長距離依存の捕捉に有効であることを示唆した。さらに、TTTフレームワーク内のさまざまな畳み込みアーキテクチャについて検討し、1D畳み込みのような単純な構成であっても、競合的な結果が得られることを示した。この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。

関連論文リスト

UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文参考訳（メタデータ） (2024-10-15T04:56:43Z)
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics [7.745945701278489]
長い時間範囲の時系列予測は、長期にわたる将来の傾向やパターンを予測するのに不可欠である。 Transformersのようなディープラーニングモデルは、時系列予測の進歩に大きく貢献している。本稿では,MambaモデルとTransformerモデルの長所と短所について検討する。
論文参考訳（メタデータ） (2024-09-13T04:23:54Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
本稿では,時系列予測のための包括的データセットを提案する。多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
論文参考訳（メタデータ） (2023-09-27T18:59:00Z)
MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文参考訳（メタデータ） (2023-07-13T13:16:01Z)
Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文参考訳（メタデータ） (2022-10-02T06:58:49Z)
Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting [13.441945545904504]
スケーラブルな時系列事前学習モデル(STEP)によりSTGNNが拡張される新しいフレームワークを提案する。具体的には、非常に長期の歴史時系列から時間パターンを効率的に学習するための事前学習モデルを設計する。我々のフレームワークは下流のSTGNNを著しく強化することができ、事前学習モデルは時間パターンを適切にキャプチャする。
論文参考訳（メタデータ） (2022-06-18T04:24:36Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)
Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。