論文の概要: Metadata Matters for Time Series: Informative Forecasting with Transformers

• arxiv url: http://arxiv.org/abs/2410.03806v1
• Date: Fri, 4 Oct 2024 11:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 16:10:45.607227
• Title: Metadata Matters for Time Series: Informative Forecasting with Transformers
• Title（参考訳）: 時系列のメタデータ - トランスフォーマーによるインフォーマティブな予測
• Authors: Jiaxiang Dong, Haixu Wu, Yuxuan Wang, Li Zhang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
• 参考スコア（独自算出の注目度）: 70.38241681764738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series forecasting is prevalent in extensive real-world applications, such as financial analysis and energy planning. Previous studies primarily focus on time series modality, endeavoring to capture the intricate variations and dependencies inherent in time series. Beyond numerical time series data, we notice that metadata (e.g.~dataset and variate descriptions) also carries valuable information essential for forecasting, which can be used to identify the application scenario and provide more interpretable knowledge than digit sequences. Inspired by this observation, we propose a Metadata-informed Time Series Transformer (MetaTST), which incorporates multiple levels of context-specific metadata into Transformer forecasting models to enable informative time series forecasting. To tackle the unstructured nature of metadata, MetaTST formalizes them into natural languages by pre-designed templates and leverages large language models (LLMs) to encode these texts into metadata tokens as a supplement to classic series tokens, resulting in an informative embedding. Further, a Transformer encoder is employed to communicate series and metadata tokens, which can extend series representations by metadata information for more accurate forecasting. This design also allows the model to adaptively learn context-specific patterns across various scenarios, which is particularly effective in handling large-scale, diverse-scenario forecasting tasks. Experimentally, MetaTST achieves state-of-the-art compared to advanced time series models and LLM-based methods on widely acknowledged short- and long-term forecasting benchmarks, covering both single-dataset individual and multi-dataset joint training settings.
• Abstract（参考訳）: 時系列予測は、財務分析やエネルギー計画など、広範囲の現実世界の応用で一般的である。 これまでの研究では、時系列に固有の複雑なバリエーションと依存関係を捉えようと努力した、時系列のモダリティに主に焦点が当てられていた。 数値時系列データ以外にも、メタデータ(例えばデータセットや変数記述)にも予測に不可欠な貴重な情報があり、これはアプリケーションシナリオを識別し、桁数列よりも解釈可能な知識を提供するのに利用できる。 この観測にインスパイアされたMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むために、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化し、これらのテキストをメタデータトークンにエンコードするために大きな言語モデル(LLM)を活用する。 さらに、Transformerエンコーダを使用して、時系列およびメタデータトークンを通信し、メタデータ情報による系列表現を拡張して、より正確な予測を行う。 この設計により、モデルは様々なシナリオにまたがるコンテキスト固有のパターンを適応的に学習することができ、特に大規模で多様なシナリオ予測タスクの処理に有効である。 実験により,MetaTSTは,単一データセットと複数データセットのジョイントトレーニング設定を対象とし,高度時系列モデルとLLMに基づく短時間・長期予測ベンチマークの手法と比較して,最先端技術を実現している。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• An Evaluation of Standard Statistical Models and LLMs on Time Series Forecasting [16.583730806230644]
  本研究では,大言語モデルが時系列予測の文脈で直面する重要な課題を明らかにする。 実験結果から、大規模な言語モデルは特定のデータセットのゼロショット予測において良好に機能するが、様々な時系列データや従来の信号に直面すると、予測精度は顕著に低下することが示された。
  論文  参考訳（メタデータ） (2024-08-09T05:13:03Z)
• Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
  不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。 本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
  論文  参考訳（メタデータ） (2024-06-20T07:09:19Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
  我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。 本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
  論文  参考訳（メタデータ） (2023-04-25T17:47:48Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case [2.997238772148965]
  時系列データは、多くの科学と工学の分野で広く使われている。 本稿では,トランスフォーマーに基づく機械学習モデルを用いた時系列予測の新しい手法を提案する。 提案手法により得られた予測結果は,最先端技術と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-01-23T00:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。