論文の概要: TSFM Meets LLM: Context as Covariates

• arxiv url: http://arxiv.org/abs/2611.05515v1
• Date: Tue, 03 Nov 2026 19:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.822137
• Title: TSFM Meets LLM: Context as Covariates
• Title（参考訳）: TSFMとLLM: 共変量としてのコンテキスト
• Abstract要約: テキスト情報は、実世界の時系列データセットにおいてユビキタスである。 大言語モデル (LLM) はテキストを解釈するが、数値精度は欠如している。 時系列基礎モデル (TSFMs) は定量的に正確であるが、テキストの効果を説明できない。
• 参考スコア（独自算出の注目度）: 5.4147841969846136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Textual information is ubiquitous in real-world time series datasets, appearing as news, reports, and annotations that hold key predictive signals not deducible from numerical history alone. Large Language Models (LLMs) interpret text but lack numerical precision, while Time Series Foundation Models (TSFMs) are quantitatively accurate but cannot reason about the effects of text. Moreover, the lack of large-scale paired multimodal datasets limits progress in bridging this gap. In this work, we address this challenge by providing a scalable approach for generating realistic multimodal datasets by annotating real-world time series with LLMs. Building on this, we propose Context as Covariates (CoCo), a forecasting framework in which an LLM distills its textual reasoning into numerically grounded forecast and confidence covariates that guide a TSFM backbone, thereby exploiting the strengths of both LLMs and TSFMs. We align the two models in stages, first fine-tuning the LLM via Group Relative Policy Optimization (GRPO) with a reward tied to covariate-induced improvement in forecasting performance, and then fine-tuning the TSFM on covariates generated by the aligned LLM. Our experiments show that models trained on our synthetic multimodal corpus generalize to real benchmarks spanning finance, economics, weather, traffic, and security. Notably, CoCo with Qwen3-4B-Instruct-2507 as the LLM and Chronos2 as the TSFM achieves up to 12% MAE improvement over state-of-the-art TSFMs and LLM forecasters, such as GPT-4o. Code, checkpoints, and the evaluation datasets are publicly available.
• Abstract（参考訳）: テキスト情報は、実世界の時系列データセットにおいてユビキタスであり、ニュース、レポート、そして数値履歴だけでは認識できない重要な予測信号を保持するアノテーションとして現れる。 大規模言語モデル (LLMs) はテキストを解釈するが、数値的な精度は欠くが、時系列基礎モデル (TSFMs) は定量的に正確であるが、テキストの効果については説明できない。 さらに、大規模なペア化されたマルチモーダルデータセットの欠如により、このギャップを埋める進行が制限される。 本研究では,LLMを用いて実世界の時系列をアノテートすることで,現実的なマルチモーダルデータセットを生成するスケーラブルなアプローチを提供することにより,この問題に対処する。 そこで我々は, TSFMバックボーンを誘導する数値基底予測と信頼共変量に LLM がテキスト推論を蒸留し, LLM と TSFM の強度を利用する予測フレームワークである Context as Covariates (CoCo) を提案する。 我々は,2つのモデルを段階的に調整し,まずグループ相対政策最適化(GRPO)を用いてLLMを微調整し,コバリアレートによる予測性能の向上に結びついた報酬を付与し,その後,協調LLMが生成する共変量に対してTSFMを微調整する。 我々の実験は、我々の合成マルチモーダルコーパスで訓練されたモデルが、財務、経済、天候、交通、セキュリティにまたがる実際のベンチマークに一般化していることを示している。 特に、Qwen3-4B-Instruct-2507 を LLM として、Chronos2 を TSFM として使用した CoCo は、GPT-4o のような最先端の TSFM や LLM 予測器よりも 12% MAE の改善を達成している。 コード、チェックポイント、評価データセットが公開されている。

関連論文リスト

• LLM as Forecasting Planner: Training-Free Text Conditioning for Time-Series Foundation Models [7.741162056503623]
  時系列基礎モデル(TSFM)は強い数値予測を提供するが、大きな言語モデル(LLM)はテキスト上で推論できる。 我々は、TSFM生成軌道上での予測を計画問題として定式化する。 これをrc(textbfLLM textbfAs textbfForecasting textbfPlanner)としてインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-27T15:02:40Z)
• Rethinking Post-Training Recipes for Multimodal Time-Series Forecasting [30.02814339453953]
  我々は,マルチモーダルな時系列予測手法について論じる。 Supervised Fine-Tuning (SFT) と Supervisement Learning with Verifiable Rewards (RLVR) を組み合わせたポストトレーニングレシピであるPostTimeを紹介する。 Gemma-3-4B LLMとTimesFM-2.5 TSFMを用いて,TimesXマルチモーダル予測ベンチマークで本手法を評価する。
  論文  参考訳（メタデータ） (2026-05-28T05:52:28Z)
• Nexus : An Agentic Framework for Time Series Forecasting [72.73790673303154]
  時系列予測は、ニュースやイベントのような構造化されていないコンテキストデータによる推論を必要とする。 予測を特殊なステージに分解するマルチエージェント予測フレームワークであるNexusを紹介します。 本研究では,現在のLLMは,従来よりも強い固有予測能力を有することを示す。
  論文  参考訳（メタデータ） (2026-05-14T05:12:13Z)
• Reasoning-Aware Training for Time Series Forecasting [44.62309170542093]
  Time Series Foundation Models (TSFMs) は数値予測では優れているが、定性的推論を欠いたブラックボックスとして運用されている。 テキストトークンライザは連続した数値を断片化し、数学的関係を劣化させ、配列の長さを爆発させる。 STRIDE (Strategic Time-Series Reasoning Injected by Distilled Embeddings) について紹介する。 STRIDEは離散トークンの代わりに、トレースの推論を軽量のLCMに蒸留し、ターゲットの数値エンコーダに先立って平均プールされた隠された状態をクロスモーダルとして動的に投影する。
  論文  参考訳（メタデータ） (2026-05-09T02:41:47Z)
• ChronoSteer: Bridging Large Language Model and Time Series Foundation Model via Synthetic Data [22.81326423408988]
  我々はChronoSteerを紹介した。ChronoSteerはマルチモーダルTSFMであり、テキストのリビジョン命令で操作できる。 クロスモーダルな命令系列ペアデータ不足を軽減するため,合成データに基づく2段階のトレーニング戦略を考案した。 ChronoSteerは、前回の最先端マルチモーダル法よりも25.7%の精度で予測精度が向上し、22.5%も向上した。
  論文  参考訳（メタデータ） (2025-05-15T08:37:23Z)
• Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
  大規模言語モデル (LLM) は時系列解析に広く応用されている。 しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。 データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
  論文  参考訳（メタデータ） (2025-01-30T03:59:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。