論文の概要: Lifting Manifolds to Mitigate Pseudo-Alignment in LLM4TS

• arxiv url: http://arxiv.org/abs/2510.12847v1
• Date: Tue, 14 Oct 2025 05:34:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.358619
• Title: Lifting Manifolds to Mitigate Pseudo-Alignment in LLM4TS
• Title（参考訳）: LLM4TSにおける擬似アライメント緩和のためのリフティングマニフォールド
• Authors: Liangwei Nathan Zheng, Wenhao Liang, Wei Emma Zhang, Miao Xu, Olaf Maennel, Weitong Chen,
• Abstract要約: 擬似アライメント(Pseudo-alignment)は、時系列モデル(LLM4TS)の大規模言語モデルにおいて、広範囲にわたる課題である。 LLM4TSにおける擬似配向の根本原因を調査し,LLMにおける擬似配向と円錐効果の関連性を構築する。 この問題を緩和し、予測性能を向上させるために設計された新しいテクニックであるtextittextbfTimeSUP を紹介する。
• 参考スコア（独自算出の注目度）: 12.15669764227969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pseudo-Alignment is a pervasive challenge in many large language models for time series (LLM4TS) models, often causing them to underperform compared to linear models or randomly initialised backbones. However, there is limited discussion in the community for the reasons that pseudo-alignment occurs. In this work, we conduct a thorough investigation into the root causes of pseudo-alignment in LLM4TS and build a connection of pseudo-alignment to the cone effect in LLM. We demonstrate that pseudo-alignment arises from the interplay of cone effect within pretrained LLM components and the intrinsically low-dimensional manifold of time-series data. In addition, we also introduce \textit{\textbf{TimeSUP}}, a novel technique designed to mitigate this issue and improve forecast performance in existing LLM4TS approaches. TimeSUP addresses this by increasing the time series manifold to more closely match the intrinsic dimension of language embeddings, allowing the model to distinguish temporal signals clearly while still capturing shared structures across modalities. As a result, representations for time and language tokens remain distinct yet exhibit high cosine similarity, signifying that the model preserves each modality unique features while learning their commonalities in a unified embedding space. Empirically, TimeSUP consistently outperforms state-of-the-art LLM4TS methods and other lightweight baselines on long-term forecasting performance. Furthermore, it can be seamlessly integrated into four existing LLM4TS pipelines and delivers significant improvements in forecasting performance.
• Abstract（参考訳）: 擬似アライメント(Pseudo-Alignment)は、時系列モデル(LLM4TS)の多くの大規模言語モデルにおいて広く普及する課題であり、しばしば線形モデルやランダムに初期化されたバックボーンに比べて性能が劣る。 しかし、偽アライメントが発生する理由については、コミュニティ内では限定的な議論がある。 本研究では,LLM4TSにおける擬似配向の根本原因を徹底的に調査し,LLMにおける擬似配向と円錐効果の関連性を構築する。 擬似配向は、事前訓練されたLCM成分と本質的に低次元の時系列データとの相互作用から生じる。 さらに、この問題を緩和し、既存のLLM4TSアプローチの予測性能を改善するために設計された新しい技術である、 \textit{\textbf{TimeSUP}} も導入する。 TimeSUPはこの問題に対処するため、時系列多様体を拡大して言語埋め込みの本質的な次元とより密に一致させ、モデルがモダリティを越えて共有構造をキャプチャしながら時間的信号を明確に識別できるようにする。 結果として、時間と言語トークンの表現は相変わらず高いコサイン類似性を示し、モデルがそれぞれのモダリティ固有の特徴を保存しつつ、それらの共通性を統合された埋め込み空間で学習することを示す。 実証的に、TimeSUPは、最先端のLSM4TSメソッドや他の軽量なベースラインを長期予測性能で一貫して上回っている。 さらに、既存の4つのLLM4TSパイプラインにシームレスに統合することができ、予測性能が大幅に改善されている。

関連論文リスト

• Semantic-Enhanced Time-Series Forecasting via Large Language Models [20.383296465541758]
  時系列予測は、金融、エネルギー、気象学、IoTアプリケーションにおいて重要な役割を果たす。 近年,大規模言語モデル(LLM)の一般化機能を活用して時系列予測に適応し,有望な性能を実現している。 本稿では,時系列の固有周期性と異常特性を探索し,意味空間に埋め込むセマンティック拡張LDM(SE-LLM)を提案する。
  論文  参考訳（メタデータ） (2025-08-11T07:19:21Z)
• Adapting LLMs to Time Series Forecasting via Temporal Heterogeneity Modeling and Semantic Alignment [32.41581846555808]
  大規模言語モデル(LLM)は、最近、自然言語処理における印象的な能力を実証した。 時間的アライメントのモデル化と意味的アライメントの強化によりLLMに基づく予測を強化する統合フレームワークであるTALONを提案する。 7つの実世界のベンチマークの実験では、TALONはすべてのデータセットで優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-08-10T06:06:19Z)
• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• Understanding Why Large Language Models Can Be Ineffective in Time Series Analysis: The Impact of Modality Alignment [16.147350486106777]
  大規模言語モデル (LLM) は時系列解析において顕著な性能を示した。 しかしながら、LLMは時系列タスク用に設計されていないため、線形回帰のような単純なモデルは、しばしば同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-10-16T07:47:31Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。