論文の概要: Tiny Time Mixers (TTMs): Fast Pretrained Models for Enhanced
Zero/Few-Shot Forecasting of Multivariate Time Series
- arxiv url: http://arxiv.org/abs/2401.03955v2
- Date: Thu, 11 Jan 2024 18:21:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 11:15:51.634500
- Title: Tiny Time Mixers (TTMs): Fast Pretrained Models for Enhanced
Zero/Few-Shot Forecasting of Multivariate Time Series
- Title(参考訳): Tiny Time Mixers (TTMs):多変量時系列のZero/Few-Shot予測のための高速事前学習モデル
- Authors: Vijay Ekambaram, Arindam Jati, Nam H. Nguyen, Pankaj Dayama, Chandra
Reddy, Wesley M. Gifford, Jayant Kalagnanam
- Abstract要約: マルチレベルTiny Time Mixers (TTM) は軽量なTSMixerアーキテクチャに基づく非常に小さなモデルである。
時間分解能の異なる複数のデータセットに対する事前学習の複雑さに対処するために,いくつかの新しい拡張を導入する。
TTMは少数/ゼロショットの予測に優れており、既存のベンチマークよりも相当な精度(12-38%)向上を示している。
- 参考スコア(独自算出の注目度): 11.61594284555052
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Pretrained models for zero/few-shot learning excel in language and
vision domains but encounter challenges in multivariate time series (TS) due to
the diverse nature and scarcity of publicly available pretraining data.
Consequently, there has been a recent surge in utilizing pretrained large
language models (LLMs) with various adaptations for time series forecasting.
These approaches employ cross-domain transfer learning and surprisingly yield
impressive results. However, these models are typically very slow and large
($\sim$billion parameters) and do not consider cross-channel correlations. To
address this, we present Multi-level Tiny Time Mixers (TTM), a significantly
small model based on the lightweight TSMixer architecture. TTM marks the first
success in developing tiny general-pretrained models ($\le$1 million
parameters), exclusively trained on public TS datasets in a flash of just 4-8
hrs with effective transfer learning capabilities for forecasting. To tackle
the complexity of pretraining on multiple datasets with varied temporal
resolutions, we introduce several novel enhancements such as adaptive patching,
dataset augmentation via downsampling, and resolution prefix tuning. Moreover,
we employ a multi-level modeling strategy to effectively model channel
correlations and incorporate exogenous signals during fine-tuning, a crucial
capability lacking in existing benchmarks. TTM excels in few/zero-shot
forecasting, demonstrating significant accuracy gains (12-38%) over existing
benchmarks. Further, it achieves a remarkable 14-106X reduction in model
parameters, enabling 54-65X faster finetuning/inference as compared to the
LLM-TS benchmarks. In fact, TTM's zero-shot often surpasses the few-shot
results in many popular benchmarks, highlighting the efficacy of our approach.
Code and Pretrained Models will be open-sourced.
- Abstract(参考訳): zero/few-shot学習のための大規模事前学習モデルは、言語領域や視覚領域で優れているが、多変量時系列(ts)での課題に遭遇する。
その結果,事前学習された大規模言語モデル (LLM) の時系列予測への適応が活発化している。
これらのアプローチはクロスドメイン転送学習を採用しており、驚くべき結果をもたらす。
しかしながら、これらのモデルは典型的には非常に遅く、大きな(\sim$billion parameters)であり、チャネル間の相関を考慮しない。
そこで本稿では,軽量tsmixerアーキテクチャに基づく非常に小型のモデルであるttm(multi-level tiny time mixer)を提案する。
TTMは、予測に効果的な転送学習機能を備えたわずか4-8時間で、公開TSデータセットにのみトレーニングされた、小さな汎用事前トレーニングモデル($100万のパラメータ)を開発する最初の成功である。
時間分解能の異なる複数のデータセットにおける事前トレーニングの複雑さに対処するために,適応パッチ処理,ダウンサンプリングによるデータセット拡張,解像度プレフィックスチューニングなど,いくつかの新しい拡張を導入する。
さらに,チャネル相関を効果的にモデル化し,既存のベンチマークに欠落する重要な機能である微調整時に外因性シグナルを組み込むためのマルチレベルモデリング手法を用いる。
TTMは少数/ゼロショットの予測に優れており、既存のベンチマークよりも相当な精度(12-38%)向上を示している。
さらに、モデルパラメータの14-106倍の削減を実現し、LCM-TSベンチマークと比較して54-65倍高速な微調整/推論を実現している。
実際、ttmのゼロショットは、多くの人気のあるベンチマークで数少ない結果を超え、我々のアプローチの有効性を強調しています。
CodeとPretrained Modelsはオープンソースになる。
関連論文リスト
- SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters [16.966008476215258]
本稿では,長期時系列予測(LTSF)のための新しい,極めて軽量なモデルであるSparseTSFを紹介する。
SparseTSFの中心にはCross-Period Sparse Forecasting技術があり、時系列データの周期性と傾向を分離することで予測タスクを単純化する。
SparseTSFは目覚ましい一般化機能を示しており、限られた計算資源、小さなサンプル、低品質のデータを扱うシナリオに適している。
論文 参考訳(メタデータ) (2024-05-02T02:15:23Z) - T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with
Trajectory Stitching [143.72720563387082]
Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。
我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。
また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
論文 参考訳(メタデータ) (2024-02-21T23:08:54Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Towards Flexible Time-to-event Modeling: Optimizing Neural Networks via
Rank Regression [17.684526928033065]
我々はDART(Time-to-event Prediction)のためのDeep AFT Rank-regressionモデルを導入する。
このモデルは、表現学習において効率的で信頼性の高いゲハンのランク統計に基づく客観的関数を用いる。
提案手法は, 生存時間分布に分布仮定を課さない半パラメトリックなAFTモデリング手法である。
論文 参考訳(メタデータ) (2023-07-16T13:58:28Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Pre-training Enhanced Spatial-temporal Graph Neural Network for
Multivariate Time Series Forecasting [13.441945545904504]
スケーラブルな時系列事前学習モデル(STEP)によりSTGNNが拡張される新しいフレームワークを提案する。
具体的には、非常に長期の歴史時系列から時間パターンを効率的に学習するための事前学習モデルを設計する。
我々のフレームワークは下流のSTGNNを著しく強化することができ、事前学習モデルは時間パターンを適切にキャプチャする。
論文 参考訳(メタデータ) (2022-06-18T04:24:36Z) - METRO: Efficient Denoising Pretraining of Large Scale Autoencoding
Language Models with Model Generated Signals [151.3601429216877]
本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。
我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。
結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-04-13T21:39:15Z) - Neural forecasting at scale [8.245069318446415]
本研究では,大規模な時系列集合上での時系列予測のために,アンサンブルに基づくディープニューラルネットワークを効率的にスケーリングする問題について検討する。
我々のモデルは、関連するモデルの実用的限界に対処し、トレーニング時間を半減し、メモリ要件を5。
論文 参考訳(メタデータ) (2021-09-20T17:22:40Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。