論文の概要: LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

• arxiv url: http://arxiv.org/abs/2605.20449v1
• Date: Tue, 19 May 2026 20:01:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.356124
• Title: LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series
• Title（参考訳）: 一般化可能なマニフォールド形状のLLM事前学習:時系列へのクロスモーダル転送をめざして
• Authors: Alexis Roger, Prateek Humane, Zhenghan Tai, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish,
• Abstract要約: 本稿では,再利用可能な多様体を用いた事前条件付き時系列トレーニングについて述べる。 凍結LDM状態の線形プローブは、ペアの監督なしに現実的な時系列軌跡を復号する。 その後、ファインタニングは低次元のアライメントとして機能し、スクラッチから時間的プリミティブを学ぶのではなく、既存の方向を再利用する。
• 参考スコア（独自算出の注目度）: 15.56338801789039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can language-pretrained transformers become effective time-series forecasters, and why? In this paper, we show that cross-modal transfer arises because language pretraining preconditions time series training with a reusable manifold. A linear probe on frozen LLM states decodes realistic time-series trajectories without paired supervision, and retrieval in this projected space yields competitive forecasts, showing that structure and dynamics exist before finetuning. Pretrained initialization also improves optimization, producing coherent gradients and a highly anisotropic loss landscape unlike random initialization. Finetuning then acts as low-dimensional alignment, reusing existing directions rather than learning temporal primitives from scratch, as evidenced by low-rank updates, subspace alignment, and shared features for periodicity, trend, and repetition. Together, these results support a geometric account of LLM-to-time-series transfer: language pretraining builds the manifold, and finetuning projects numerical dynamics onto task-relevant directions.
• Abstract（参考訳）: 言語に制約のあるトランスフォーマーは時系列予測に有効か? 本稿では,再利用可能な多様体を用いた事前条件付き時系列トレーニングにより,クロスモーダル転送が生じることを示す。 凍結LDM状態の線形プローブは、ペアの監督なしに現実的な時系列軌跡をデコードし、この射影空間での探索は、微調整の前に構造と力学が存在することを示す競争予測をもたらす。 事前制約された初期化は最適化を改善し、ランダム初期化とは異なり、コヒーレント勾配と高度に異方性のあるロスランドスケープを生成する。 ファインタニングは、低次元のアライメントとして機能し、低ランクの更新、サブスペースアライメント、周期性、傾向、繰り返しの共有機能によって証明されたように、スクラッチから時間的プリミティブを学ぶのではなく、既存の方向を再利用する。 これらの結果は,LLM-to-Time-Series 転送の幾何学的記述,言語事前学習による多様体構築,タスク関連方向の数値力学の微調整などをサポートする。

関連論文リスト

• Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
  我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。 コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
  論文  参考訳（メタデータ） (2026-04-28T19:21:21Z)
• T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation [7.6933817667680096]
  時系列予測は多くの現実世界のアプリケーションにおいて意思決定において重要な役割を果たす。 本稿では,汎用言語モデルと時系列予測機能を組み合わせた時空間蒸留フレームワークT-LLMを提案する。
  論文  参考訳（メタデータ） (2026-02-02T10:40:27Z)
• RePST: Language Model Empowered Spatio-Temporal Forecasting via Semantic-Oriented Reprogramming [24.9561009415531]
  我々は,事前学習言語モデル(PLM)の推論と一般化能力を活用して,複雑な時間的予測を実現することを目的とする。 本稿では,時間的予測に適した意味指向型 PLM プログラミングフレームワーク RePST を提案する。
  論文  参考訳（メタデータ） (2024-08-24T07:59:36Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。