論文の概要: TTMs: Fast Multi-level Tiny Time Mixers for Improved Zero-shot and
Few-shot Forecasting of Multivariate Time Series
- arxiv url: http://arxiv.org/abs/2401.03955v1
- Date: Mon, 8 Jan 2024 15:21:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 15:29:45.054598
- Title: TTMs: Fast Multi-level Tiny Time Mixers for Improved Zero-shot and
Few-shot Forecasting of Multivariate Time Series
- Title(参考訳): TTM:多変量時系列のゼロショットおよびFewショット予測改善のための高速マルチレベルタイニー時間ミキサ
- Authors: Vijay Ekambaram, Arindam Jati, Nam H. Nguyen, Pankaj Dayama, Chandra
Reddy, Wesley M. Gifford, Jayant Kalagnanam
- Abstract要約: マルチレベルTiny Time Mixers (TTM) は軽量なTSMixerアーキテクチャに基づくモデルである。
本稿では、適応パッチ、ダウンサンプリングによるデータセット拡張、解像度プレフィックスチューニングなど、いくつかの新しい機能拡張を紹介する。
TTMは少数/ゼロショットの予測に優れており、既存のベンチマークよりも相当な精度(12-38%)向上を示している。
- 参考スコア(独自算出の注目度): 11.61594284555052
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Pretrained models for Zero/Few-shot learning excel in language and
vision domains but encounter challenges in multivariate time series (TS) due to
the diverse nature and scarcity of publicly available pretraining data.
Consequently, there has been a recent surge in utilizing pretrained large
language models (LLMs) with various adaptations for time series forecasting.
These approaches employ cross-domain transfer learning, yielding highly
impressive results. However, these models are typically very large ($\sim$
billion parameters), exhibit slow execution, and do not consider cross-channel
correlations. To address this, we present Multi-level Tiny Time Mixers (TTM), a
significantly smaller model based on the lightweight TSMixer architecture. TTM
marks the first success in developing tiny pretrained models ($\le$1 million
parameters), exclusively trained on public TS data with effective transfer
learning capabilities. To tackle the complexity of pretraining on multiple
datasets with varied temporal resolutions, we introduce several novel
enhancements such as adaptive patching, dataset augmentation via downsampling,
and resolution prefix tuning. Moreover, we employ a multi-level modeling
strategy to effectively model channel correlations and incorporate exogenous
signals during finetuning, a crucial capability lacking in existing benchmarks.
TTM excels in few/zero-shot forecasting, demonstrating significant accuracy
gains (12-38%) over existing benchmarks. Further, it achieves a remarkable
14-106X reduction in model parameters, enabling 54-65X faster
training/inference as compared to the LLM-TS benchmarks. In fact, TTM's
zero-shot results often surpass the few-shot results in many benchmarks,
highlighting the efficacy of our approach. Code and Pretrained Models will be
open-sourced.
- Abstract(参考訳): zero/few-shot学習のための大規模事前学習モデルは、言語領域や視覚領域で優れているが、多変量時系列(ts)での課題に遭遇する。
その結果,事前学習された大規模言語モデル (LLM) の時系列予測への適応が活発化している。
これらのアプローチはクロスドメイン転送学習を採用し、非常に印象的な結果をもたらす。
しかし、これらのモデルは典型的には非常に大きい($sim$b)パラメータであり、実行が遅く、チャネル間の相関を考慮しない。
そこで本研究では,軽量なTSMixerアーキテクチャに基づくモデルとして,TTM(Multi-level Tiny Time Mixers)を提案する。
TTMは、効果的な転送学習機能を備えた公開TSデータにのみトレーニングされた、小さな事前訓練済みモデル(100万ドル相当のパラメータ)を開発する最初の成功である。
時間分解能の異なる複数のデータセットにおける事前トレーニングの複雑さに対処するために,適応パッチ処理,ダウンサンプリングによるデータセット拡張,解像度プレフィックスチューニングなど,いくつかの新しい拡張を導入する。
さらに,チャネル相関を効果的にモデル化し,既存のベンチマークに欠落する重要な機能である微調整中に外因性シグナルを組み込むためのマルチレベルモデリング手法を用いる。
TTMは少数/ゼロショットの予測に優れており、既存のベンチマークよりも相当な精度(12-38%)向上を示している。
さらに、モデルパラメータの14-106倍の削減を実現し、LCM-TSベンチマークと比較して54-65倍高速なトレーニング/推論を実現している。
実際、ttmのゼロショットの結果は、多くのベンチマークで数ショットの結果を上回っており、我々のアプローチの有効性を強調しています。
CodeとPretrained Modelsはオープンソースになる。
関連論文リスト
- SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters [16.966008476215258]
本稿では,長期時系列予測(LTSF)のための新しい,極めて軽量なモデルであるSparseTSFを紹介する。
SparseTSFの中心にはCross-Period Sparse Forecasting技術があり、時系列データの周期性と傾向を分離することで予測タスクを単純化する。
SparseTSFは目覚ましい一般化機能を示しており、限られた計算資源、小さなサンプル、低品質のデータを扱うシナリオに適している。
論文 参考訳(メタデータ) (2024-05-02T02:15:23Z) - T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with
Trajectory Stitching [143.72720563387082]
Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。
我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。
また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
論文 参考訳(メタデータ) (2024-02-21T23:08:54Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Towards Flexible Time-to-event Modeling: Optimizing Neural Networks via
Rank Regression [17.684526928033065]
我々はDART(Time-to-event Prediction)のためのDeep AFT Rank-regressionモデルを導入する。
このモデルは、表現学習において効率的で信頼性の高いゲハンのランク統計に基づく客観的関数を用いる。
提案手法は, 生存時間分布に分布仮定を課さない半パラメトリックなAFTモデリング手法である。
論文 参考訳(メタデータ) (2023-07-16T13:58:28Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Pre-training Enhanced Spatial-temporal Graph Neural Network for
Multivariate Time Series Forecasting [13.441945545904504]
スケーラブルな時系列事前学習モデル(STEP)によりSTGNNが拡張される新しいフレームワークを提案する。
具体的には、非常に長期の歴史時系列から時間パターンを効率的に学習するための事前学習モデルを設計する。
我々のフレームワークは下流のSTGNNを著しく強化することができ、事前学習モデルは時間パターンを適切にキャプチャする。
論文 参考訳(メタデータ) (2022-06-18T04:24:36Z) - METRO: Efficient Denoising Pretraining of Large Scale Autoencoding
Language Models with Model Generated Signals [151.3601429216877]
本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。
我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。
結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-04-13T21:39:15Z) - Neural forecasting at scale [8.245069318446415]
本研究では,大規模な時系列集合上での時系列予測のために,アンサンブルに基づくディープニューラルネットワークを効率的にスケーリングする問題について検討する。
我々のモデルは、関連するモデルの実用的限界に対処し、トレーニング時間を半減し、メモリ要件を5。
論文 参考訳(メタデータ) (2021-09-20T17:22:40Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。