論文の概要: TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2310.04948v2
• Date: Thu, 12 Oct 2023 02:43:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 11:29:50.973528
• Title: TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting
• Title（参考訳）: tempo:時系列予測のためのプロンプトベース生成事前学習トランス
• Authors: Defu Cao, Furong Jia, Sercan O Arik, Tomas Pfister, Yixiang Zheng, Wen Ye, Yan Liu
• Abstract要約: 本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
• 参考スコア（独自算出の注目度）: 26.080207374930055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The past decade has witnessed significant advances in time series modeling with deep learning. While achieving state-of-the-art results, the best-performing architectures vary highly across applications and domains. Meanwhile, for natural language processing, the Generative Pre-trained Transformer (GPT) has demonstrated impressive performance via training one general-purpose model across various textual datasets. It is intriguing to explore whether GPT-type architectures can be effective for time series, capturing the intrinsic dynamic attributes and leading to significant accuracy improvements. In this paper, we propose a novel framework, TEMPO, that can effectively learn time series representations. We focus on utilizing two essential inductive biases of the time series task for pre-trained models: (i) decomposition of the complex interaction between trend, seasonal and residual components; and (ii) introducing the selection-based prompts to facilitate distribution adaptation in non-stationary time series. TEMPO expands the capability for dynamically modeling real-world temporal phenomena from data within diverse domains. Our experiments demonstrate the superior performance of TEMPO over state-of-the-art methods on a number of time series benchmark datasets. This performance gain is observed not only in standard supervised learning settings but also in scenarios involving previously unseen datasets as well as in scenarios with multi-modal inputs. This compelling finding highlights TEMPO's potential to constitute a foundational model-building framework.
• Abstract（参考訳）: 過去10年間、ディープラーニングによる時系列モデリングが大幅に進歩している。 最先端の成果を得る一方で、ベストパフォーマンスなアーキテクチャはアプリケーションやドメインによって大きく異なります。 一方、自然言語処理では、GPT(Generative Pre-trained Transformer)が、さまざまなテキストデータセットにまたがる1つの汎用モデルをトレーニングすることで、素晴らしいパフォーマンスを示している。 GPT型アーキテクチャが時系列に有効であるかどうかを探求し、本質的な動的属性をキャプチャし、精度を大幅に向上させる。 本稿では,時系列表現を効果的に学習できる新しいフレームワークであるtempoを提案する。 事前学習モデルにおける時系列課題の2つの本質的帰納バイアスの活用に焦点をあてた。 (i)傾向、季節、残留成分の複雑な相互作用の分解 (ii)非定常時系列における分布適応を容易にするために選択に基づくプロンプトを導入する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。 本実験は,多数の時系列ベンチマークデータセット上での最先端手法よりもTEMPOの方が優れた性能を示す。 このパフォーマンス向上は、標準的な教師付き学習設定だけでなく、以前見つからなかったデータセットを含むシナリオや、マルチモーダル入力のシナリオでも観察される。 この魅力的な発見は、基礎的なモデル構築フレームワークを構成するTEMPOの可能性を強調します。

関連論文リスト

• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• TSI: A Multi-View Representation Learning Approach for Time Series Forecasting [29.05140751690699]
  本研究では,時系列予測のための新しいマルチビュー手法を提案する。 傾向と季節表現を独立成分分析(ICA)に基づく表現と統合する。 このアプローチは時系列データの全体的理解を提供し、しばしば曖昧で非線形な関係を見逃す伝統的なモデルを越えている。
  論文  参考訳（メタデータ） (2024-09-30T02:11:57Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback [3.347485580830609]
  PSEUDoは、マルチトラックシーケンシャルデータにおける視覚パターンを探索するための適応的機能学習技術である。 提案アルゴリズムは,サブ線形学習と推論時間を特徴とする。 我々は,PSEUDoの効率,精度,操縦性において優位性を示す。
  論文  参考訳（メタデータ） (2021-04-30T13:00:44Z)
• Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case [2.997238772148965]
  時系列データは、多くの科学と工学の分野で広く使われている。 本稿では,トランスフォーマーに基づく機械学習モデルを用いた時系列予測の新しい手法を提案する。 提案手法により得られた予測結果は,最先端技術と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-01-23T00:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。