論文の概要: Using Pre-trained LLMs for Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2501.06386v1
• Date: Fri, 10 Jan 2025 23:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:31.812737
• Title: Using Pre-trained LLMs for Multivariate Time Series Forecasting
• Title（参考訳）: 多変量時系列予測における事前学習 LLM の利用
• Authors: Malcolm L. Wolff, Shenghao Yang, Kari Torkkola, Michael W. Mahoney,
• Abstract要約: 事前訓練された大規模言語モデル(LLM)は大量の知識をカプセル化し、大量の計算を訓練に要する。 我々は、LLMが知識と性能をあるドメインから、あるいは他の一見無関係な領域へ伝達できるという観察とともに、このリソースを活用している。
• 参考スコア（独自算出の注目度）: 41.67881279885103
• License:
• Abstract: Pre-trained Large Language Models (LLMs) encapsulate large amounts of knowledge and take enormous amounts of compute to train. We make use of this resource, together with the observation that LLMs are able to transfer knowledge and performance from one domain or even modality to another seemingly-unrelated area, to help with multivariate demand time series forecasting. Attention in transformer-based methods requires something worth attending to -- more than just samples of a time-series. We explore different methods to map multivariate input time series into the LLM token embedding space. In particular, our novel multivariate patching strategy to embed time series features into decoder-only pre-trained Transformers produces results competitive with state-of-the-art time series forecasting models. We also use recently-developed weight-based diagnostics to validate our findings.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は大量の知識をカプセル化し、大量の計算を訓練に要する。 我々は、LLMが知識と性能を、あるドメインから、あるいは、ある一見無関係な領域へ伝達し、多変量需要時系列予測を支援することができるという観察とともに、このリソースを活用している。 トランスフォーマーベースのメソッドへの注意は、時系列のサンプル以上の、参加する価値のあるものを必要とします。 多変量入力時系列を LLM トークン埋め込み空間にマッピングする方法を探索する。 特に,デコーダのみの事前学習型トランスフォーマーに時系列特徴を組み込む新しい多変量パッチ方式は,最先端の時系列予測モデルと競合する結果をもたらす。 また,最近開発された重み付け診断を用いて診断結果の妥当性を検証した。

関連論文リスト

• Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
  大規模言語モデル (LLM) は時系列解析に広く応用されている。 しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。 データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
  論文  参考訳（メタデータ） (2025-01-30T03:59:59Z)
• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• MultiCast: Zero-Shot Multivariate Time Series Forecasting Using LLMs [0.8329456268842227]
  MultiCast は多変量時系列予測のためのゼロショット LLM ベースのアプローチである。 3つの新しいトークン多重化ソリューションは、キー繰り返しパターンを保持しながら、次元性を効果的に減少させる。 実世界の3つのデータセットに対する最先端アプローチに対するRMSEと実行時間の観点から,我々のアプローチのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-23T16:16:00Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。