論文の概要: Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization

• arxiv url: http://arxiv.org/abs/2412.05244v1
• Date: Fri, 06 Dec 2024 18:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:15.044805
• Title: Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization
• Title（参考訳）: ウェーブレットに基づくトークン化による時系列予測のための基礎モデルの強化
• Authors: Luca Masserano, Abdul Fatir Ansari, Boran Han, Xiyuan Zhang, Christos Faloutsos, Michael W. Mahoney, Andrew Gordon Wilson, Youngsuk Park, Syama Rangapuram, Danielle C. Maddix, Yuyang Wang,
• Abstract要約: 我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
• 参考スコア（独自算出の注目度）: 74.3339999119713
• License:
• Abstract: How to best develop foundational models for time series forecasting remains an important open question. Tokenization is a crucial consideration in this effort: what is an effective discrete vocabulary for a real-valued sequential input? To address this question, we develop WaveToken, a wavelet-based tokenizer that allows models to learn complex representations directly in the space of time-localized frequencies. Our method first scales and decomposes the input time series, then thresholds and quantizes the wavelet coefficients, and finally pre-trains an autoregressive model to forecast coefficients for the forecast horizon. By decomposing coarse and fine structures in the inputs, wavelets provide an eloquent and compact language for time series forecasting that simplifies learning. Empirical results on a comprehensive benchmark, including 42 datasets for both in-domain and zero-shot settings, show that WaveToken: i) provides better accuracy than recently proposed foundation models for forecasting while using a much smaller vocabulary (1024 tokens), and performs on par or better than modern deep learning models trained specifically on each dataset; and ii) exhibits superior generalization capabilities, achieving the best average rank across all datasets for three complementary metrics. In addition, we show that our method can easily capture complex temporal patterns of practical relevance that are challenging for other recent pre-trained models, including trends, sparse spikes, and non-stationary time series with varying frequencies evolving over time.
• Abstract（参考訳）: 時系列予測のための基礎モデルをどのように開発するかは、依然として重要なオープンな疑問である。 この取り組みにおいて、トークン化は重要な考慮事項である: 実数値逐次入力に有効な離散語彙は何か? この問題に対処するために、ウェーブレットベースのトークンーザであるWaveTokenを開発した。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。 入力の粗い構造と細かな構造を分解することで、ウェーブレットは学習を単純化する時系列予測のための雄弁でコンパクトな言語を提供する。 ドメイン内設定とゼロショット設定の両方のための42のデータセットを含む包括的なベンチマークに関する実証的な結果は、WaveTokenが示す。 i) 最近提案された予測の基礎モデルよりもはるかに少ない語彙(1024トークン)を使用し、各データセットに特化して訓練された現代のディープラーニングモデルと同等以上の性能を発揮する。 ii)より優れた一般化能力を示し、3つの相補的な指標に対して、すべてのデータセットで最高の平均ランクを達成する。 さらに,本手法は,時間とともに変動する変動周波数の時間的時系列やスパーススパイク,非定常時系列といった,他の事前学習モデルにとって困難な,実践的関連性の複雑な時間的パターンを容易に把握できることを示す。

関連論文リスト

• Beyond Data Scarcity: A Frequency-Driven Framework for Zero-Shot Forecasting [15.431513584239047]
  時系列予測は多くの現実世界の応用において重要である。 従来の予測技術は、データが不足しているか、全く利用できない場合に苦労する。 近年の進歩は、このようなタスクに大規模な基礎モデルを活用することが多い。
  論文  参考訳（メタデータ） (2024-11-24T07:44:39Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Split Time Series into Patches: Rethinking Long-term Series Forecasting with Dateformer [17.454822366228335]
  時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。 本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。 ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
  論文  参考訳（メタデータ） (2022-07-12T08:58:44Z)
• PRNet: A Periodic Residual Learning Network for Crowd Flow Forecasting [8.50942649992681]
  我々は,クラウドフローデータの周期性をモデル化するための新しい周期的残差学習ネットワーク(PRNet)を考案した。 PRNetは、入力(前の時間)と出力(将来の時間)のずれをモデル化し、周期的残差学習問題として予測する群集フローをフレーム化する。 2つの実世界のデータセットに対する実験結果から、PRNetは精度と堅牢性の両方の観点から最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-12-08T12:04:27Z)
• Improved Predictive Deep Temporal Neural Networks with Trend Filtering [22.352437268596674]
  本稿では,ディープニューラルネットワークとトレンドフィルタリングに基づく新しい予測フレームワークを提案する。 我々は,学習データをトレンドフィルタリングによって時間的に処理した場合,深部時相ニューラルネットワークの予測性能が向上することを明らかにする。
  論文  参考訳（メタデータ） (2020-10-16T08:29:36Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。