論文の概要: Enhancing Large Language Models for Time-Series Forecasting via Vector-Injected In-Context Learning

• arxiv url: http://arxiv.org/abs/2601.07903v1
• Date: Mon, 12 Jan 2026 14:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.904131
• Title: Enhancing Large Language Models for Time-Series Forecasting via Vector-Injected In-Context Learning
• Title（参考訳）: ベクトル注入型インコンテキスト学習による時系列予測のための大規模言語モデルの強化
• Authors: Jianqi Zhang, Jingyao Wang, Wenwen Qiang, Fanjiang Xu, Changwen Zheng,
• Abstract要約: 時系列予測(TSF)はこの目標を達成するための重要な手段である。 LLM4TSFは予測性能と計算オーバーヘッドという2つの課題に直面している。 インコンテキスト学習(ICL)にヒントを得て,LVICLを提案する。
• 参考スコア（独自算出の注目度）: 27.86925786809783
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The World Wide Web needs reliable predictive capabilities to respond to changes in user behavior and usage patterns. Time series forecasting (TSF) is a key means to achieve this goal. In recent years, the large language models (LLMs) for TSF (LLM4TSF) have achieved good performance. However, there is a significant difference between pretraining corpora and time series data, making it hard to guarantee forecasting quality when directly applying LLMs to TSF; fine-tuning LLMs can mitigate this issue, but often incurs substantial computational overhead. Thus, LLM4TSF faces a dual challenge of prediction performance and compute overhead. To address this, we aim to explore a method for improving the forecasting performance of LLM4TSF while freezing all LLM parameters to reduce computational overhead. Inspired by in-context learning (ICL), we propose LVICL. LVICL uses our vector-injected ICL to inject example information into a frozen LLM, eliciting its in-context learning ability and thereby enhancing its performance on the example-related task (i.e., TSF). Specifically, we first use the LLM together with a learnable context vector adapter to extract a context vector from multiple examples adaptively. This vector contains compressed, example-related information. Subsequently, during the forward pass, we inject this vector into every layer of the LLM to improve forecasting performance. Compared with conventional ICL that adds examples into the prompt, our vector-injected ICL does not increase prompt length; moreover, adaptively deriving a context vector from examples suppresses components harmful to forecasting, thereby improving model performance. Extensive experiments demonstrate the effectiveness of our approach.
• Abstract（参考訳）: World Wide Webは、ユーザ行動や利用パターンの変化に対応するために、信頼できる予測機能が必要です。 時系列予測(TSF)はこの目標を達成するための重要な手段である。 近年, TSF (LLM4TSF) 用の大規模言語モデル (LLM) の性能が向上している。 しかし、事前学習コーパスと時系列データの間には大きな違いがあり、TLMをTSFに直接適用する際の予測品質の保証が困難である。 したがって、LLM4TSFは予測性能と計算オーバーヘッドという2つの課題に直面している。 そこで本研究では,LLM4TSFの予測性能を向上させるために,LLMパラメータを凍結して計算オーバーヘッドを低減する手法を提案する。 インコンテキスト学習(ICL)にヒントを得て,LVICLを提案する。 LVICLは、ベクトル注入したICLを用いて、サンプル情報を凍結したLCMに注入し、そのコンテキスト内学習能力を引き出すことにより、サンプル関連タスク(TSF)の性能を向上させる。 具体的には、まずLLMと学習可能なコンテキストベクトルアダプタを併用して、複数の例からコンテキストベクトルを適応的に抽出する。 このベクトルは、圧縮されたサンプル関連情報を含む。 その後,このベクトルをLLMの各層に注入し,予測性能を向上させる。 従来のICLと比べ、ベクトル注入したICLはプロンプト長を増大させず、適応的に文脈ベクトルを導出することで、予測に有害なコンポーネントが抑制され、モデル性能が向上する。 大規模な実験は、我々のアプローチの有効性を実証する。

関連論文リスト

• Learning to Compress: Unlocking the Potential of Large Language Models for Text Representation [34.21806963402883]
  大規模言語モデル(LLM)の教師なし適応のためのプレテキストタスクとして,文脈圧縮の未解決の可能性について検討する。 実験により、よく設計された圧縮目的がLLMベースのテキスト表現を大幅に強化できることが示されている。 コントラスト学習によるさらなる改善は、強い表現モデル(LLM2Comp)を生成する
  論文  参考訳（メタデータ） (2025-11-21T10:45:44Z)
• Semantic-Enhanced Time-Series Forecasting via Large Language Models [20.383296465541758]
  時系列予測は、金融、エネルギー、気象学、IoTアプリケーションにおいて重要な役割を果たす。 近年,大規模言語モデル(LLM)の一般化機能を活用して時系列予測に適応し,有望な性能を実現している。 本稿では,時系列の固有周期性と異常特性を探索し,意味空間に埋め込むセマンティック拡張LDM(SE-LLM)を提案する。
  論文  参考訳（メタデータ） (2025-08-11T07:19:21Z)
• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting [33.89176174108559]
  大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。 ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。 本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T12:32:12Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。