論文の概要: LangTime: A Language-Guided Unified Model for Time Series Forecasting with Proximal Policy Optimization
- arxiv url: http://arxiv.org/abs/2503.08271v1
- Date: Tue, 11 Mar 2025 10:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:41:58.338519
- Title: LangTime: A Language-Guided Unified Model for Time Series Forecasting with Proximal Policy Optimization
- Title(参考訳): LangTime: 近いポリシー最適化を備えた言語ガイドによる時系列予測用統一モデル
- Authors: Wenzhe Niu, Zongxia Xie, Yanru Sun, Wei He, Man Xu, Chao Hao,
- Abstract要約: LangTimeは、時系列予測のための言語誘導統合モデルである。
TimePPOは強化学習に基づく微調整アルゴリズムである。
- 参考スコア(独自算出の注目度): 3.1819993716919472
- License:
- Abstract: Recent research has shown an increasing interest in utilizing pre-trained large language models (LLMs) for a variety of time series applications. However, there are three main challenges when using LLMs as foundational models for time series forecasting: (1) Cross-domain generalization. (2) Cross-modality alignment. (3) Error accumulation in autoregressive frameworks. To address these challenges, we proposed LangTime, a language-guided unified model for time series forecasting that incorporates cross-domain pre-training with reinforcement learning-based fine-tuning. Specifically, LangTime constructs Temporal Comprehension Prompts (TCPs), which include dataset-wise and channel-wise instructions, to facilitate domain adaptation and condense time series into a single token, enabling LLMs to understand better and align temporal data. To improve autoregressive forecasting, we introduce TimePPO, a reinforcement learning-based fine-tuning algorithm. TimePPO mitigates error accumulation by leveraging a multidimensional rewards function tailored for time series and a repeat-based value estimation strategy. Extensive experiments demonstrate that LangTime achieves state-of-the-art cross-domain forecasting performance, while TimePPO fine-tuning effectively enhances the stability and accuracy of autoregressive forecasting.
- Abstract(参考訳): 近年の研究では、様々な時系列アプリケーションに事前訓練された大規模言語モデル(LLM)を活用することへの関心が高まっている。
しかし,LLMを時系列予測の基礎モデルとして使用する場合,(1)クロスドメインの一般化という3つの課題がある。
2)クロスモダリティアライメント。
(3)自己回帰フレームワークにおけるエラー蓄積
これらの課題に対処するため、私たちはLangTimeを提案した。LangTimeは、クロスドメイン事前トレーニングと強化学習に基づく微調整を組み込んだ、時系列予測のための言語誘導統合モデルである。
具体的には、LangTimeは、データセットとチャネルに関する命令を含むTemporal Comprehension Prompts(TCP)を構築し、ドメイン適応とコンデンス時系列を単一のトークンにすることで、LLMがよりよく理解し、時間データの整合を可能にする。
自己回帰予測を改善するために,強化学習に基づく微調整アルゴリズムであるTimePPOを導入する。
TimePPOは、時系列に適した多次元報酬関数と繰り返しベースの値推定戦略を利用して、エラーの蓄積を緩和する。
大規模な実験により、LangTimeは最先端のクロスドメイン予測性能を達成し、TimePPOの微調整は自己回帰予測の安定性と精度を効果的に向上させることが示された。
関連論文リスト
- TimeRAG: BOOSTING LLM Time Series Forecasting via Retrieval-Augmented Generation [5.607649016637917]
TimeRAGは、LLMの時系列予測にRAG(Retrieval-Augmented Generation)を組み込んだフレームワークである。
さまざまなドメインからのデータセットの実験では、RAGの統合により、オリジナルのモデルの予測精度が平均2.97%向上した。
論文 参考訳(メタデータ) (2024-12-21T14:27:38Z) - Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。
提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
論文 参考訳(メタデータ) (2024-12-06T18:22:59Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳(メタデータ) (2024-10-07T07:27:39Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。
時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。
AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳(メタデータ) (2023-07-13T13:16:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。