Fugu-MT 論文翻訳(概要): LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

論文の概要: LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

arxiv url: http://arxiv.org/abs/2605.20449v1
Date: Tue, 19 May 2026 20:01:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-21 19:19:56.356124
Title: LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series
Title（参考訳）: 一般化可能なマニフォールド形状のLLM事前学習:時系列へのクロスモーダル転送をめざして
Abstract要約: 本稿では,再利用可能な多様体を用いた事前条件付き時系列トレーニングについて述べる。凍結LDM状態の線形プローブは、ペアの監督なしに現実的な時系列軌跡を復号する。その後、ファインタニングは低次元のアライメントとして機能し、スクラッチから時間的プリミティブを学ぶのではなく、既存の方向を再利用する。
参考スコア（独自算出の注目度）: 15.56338801789039
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Can language-pretrained transformers become effective time-series forecasters, and why? In this paper, we show that cross-modal transfer arises because language pretraining preconditions time series training with a reusable manifold. A linear probe on frozen LLM states decodes realistic time-series trajectories without paired supervision, and retrieval in this projected space yields competitive forecasts, showing that structure and dynamics exist before finetuning. Pretrained initialization also improves optimization, producing coherent gradients and a highly anisotropic loss landscape unlike random initialization. Finetuning then acts as low-dimensional alignment, reusing existing directions rather than learning temporal primitives from scratch, as evidenced by low-rank updates, subspace alignment, and shared features for periodicity, trend, and repetition. Together, these results support a geometric account of LLM-to-time-series transfer: language pretraining builds the manifold, and finetuning projects numerical dynamics onto task-relevant directions.
Abstract（参考訳）: 言語に制約のあるトランスフォーマーは時系列予測に有効か? 本稿では,再利用可能な多様体を用いた事前条件付き時系列トレーニングにより,クロスモーダル転送が生じることを示す。凍結LDM状態の線形プローブは、ペアの監督なしに現実的な時系列軌跡をデコードし、この射影空間での探索は、微調整の前に構造と力学が存在することを示す競争予測をもたらす。事前制約された初期化は最適化を改善し、ランダム初期化とは異なり、コヒーレント勾配と高度に異方性のあるロスランドスケープを生成する。ファインタニングは、低次元のアライメントとして機能し、低ランクの更新、サブスペースアライメント、周期性、傾向、繰り返しの共有機能によって証明されたように、スクラッチから時間的プリミティブを学ぶのではなく、既存の方向を再利用する。これらの結果は,LLM-to-Time-Series 転送の幾何学的記述,言語事前学習による多様体構築,タスク関連方向の数値力学の微調整などをサポートする。

関連論文リスト

Representation Collapse in Sequential Post-Training of Large Language Models [17.437127662981847]
逐次後学習が内部表現を低ランク,異方性,均一な特徴空間に徐々に圧縮するかどうかを考察する。我々は,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,および長いチェーン・オブ・シンキングを解析した。
論文参考訳（メタデータ） (2026-05-28T19:59:17Z)
LeapTS: Rethinking Time Series Forecasting as Adaptive Multi-Horizon Scheduling [74.94985663101906]
本稿では,予測地平線上での動的スケジューリングプロセスとして時系列予測を再構成する新しいフレームワーク LeapTSを提案する。 LeapTSは、Transformerベースのモデルよりも2.6$times$から5.3$times$推論スピードアップを実現しつつ、全体的な予測性能を少なくとも7.4%向上させる。
論文参考訳（メタデータ） (2026-05-11T09:54:02Z)
Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
論文参考訳（メタデータ） (2026-04-28T19:21:21Z)
T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation [7.6933817667680096]
時系列予測は多くの現実世界のアプリケーションにおいて意思決定において重要な役割を果たす。本稿では,汎用言語モデルと時系列予測機能を組み合わせた時空間蒸留フレームワークT-LLMを提案する。
論文参考訳（メタデータ） (2026-02-02T10:40:27Z)
Tracing the Representation Geometry of Language Models from Pretraining to Post-training [22.18942718274405]
本研究では,事前学習と後学習にまたがる学習表現の幾何学をスペクトル的に検討する。自己回帰事前学習中に3つの幾何位相の一貫した非単調列が発見された。 SFTとDPOは、特定の命令データや優先データを統合するために「エントロピー探索」ダイナミクスを駆動します。
論文参考訳（メタデータ） (2025-09-27T00:46:29Z)
LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
論文参考訳（メタデータ） (2025-03-12T11:45:11Z)
RePST: Language Model Empowered Spatio-Temporal Forecasting via Semantic-Oriented Reprogramming [24.9561009415531]
我々は,事前学習言語モデル(PLM)の推論と一般化能力を活用して,複雑な時間的予測を実現することを目的とする。本稿では,時間的予測に適した意味指向型 PLM プログラミングフレームワーク RePST を提案する。
論文参考訳（メタデータ） (2024-08-24T07:59:36Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文参考訳（メタデータ） (2024-02-04T13:10:51Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。