論文の概要: Enhancing LLMs for Time Series Forecasting via Structure-Guided Cross-Modal Alignment

• arxiv url: http://arxiv.org/abs/2505.13175v1
• Date: Mon, 19 May 2025 14:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.654658
• Title: Enhancing LLMs for Time Series Forecasting via Structure-Guided Cross-Modal Alignment
• Title（参考訳）: 構造誘導型クロスモーダルアライメントによる時系列予測のためのLLMの強化
• Authors: Siming Sun, Kai Zhang, Xuejun Jiang, Wenchao Meng, Qinmin Yang,
• Abstract要約: 本稿では,時系列データと言語データで共有される状態遷移グラフ構造を逐次モーダルとして活用・整合するフレームワークを提案する。 複数のベンチマークの実験は、SGCMAが最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 12.319685395140862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emerging paradigm of leveraging pretrained large language models (LLMs) for time series forecasting has predominantly employed linguistic-temporal modality alignment strategies through token-level or layer-wise feature mapping. However, these approaches fundamentally neglect a critical insight: the core competency of LLMs resides not merely in processing localized token features but in their inherent capacity to model holistic sequence structures. This paper posits that effective cross-modal alignment necessitates structural consistency at the sequence level. We propose the Structure-Guided Cross-Modal Alignment (SGCMA), a framework that fully exploits and aligns the state-transition graph structures shared by time-series and linguistic data as sequential modalities, thereby endowing time series with language-like properties and delivering stronger generalization after modality alignment. SGCMA consists of two key components, namely Structure Alignment and Semantic Alignment. In Structure Alignment, a state transition matrix is learned from text data through Hidden Markov Models (HMMs), and a shallow transformer-based Maximum Entropy Markov Model (MEMM) receives the hot-start transition matrix and annotates each temporal patch into state probability, ensuring that the temporal representation sequence inherits language-like sequential dynamics. In Semantic Alignment, cross-attention is applied between temporal patches and the top-k tokens within each state, and the ultimate temporal embeddings are derived by the expected value of these embeddings using a weighted average based on state probabilities. Experiments on multiple benchmarks demonstrate that SGCMA achieves state-of-the-art performance, offering a novel approach to cross-modal alignment in time series forecasting.
• Abstract（参考訳）: 時系列予測に事前訓練された大言語モデル(LLM)を活用するという新たなパラダイムは、トークンレベルや層単位での機能マッピングを通じて、言語的・時間的アライメント戦略を主に採用している。 しかし、これらのアプローチは批判的な洞察を基本的に無視している: LLMのコア能力は局所化トークンの特徴の処理に留まらず、全体論的シーケンス構造をモデル化するための固有の能力に留まっている。 本論文は, 配列レベルでの構造的整合性を実現するためには, 効果的なクロスモーダルアライメントが必要であることを示唆する。 本研究では,時系列と言語データで共有される状態遷移グラフ構造を逐次モダリティとして完全に活用・整合するフレームワークであるStructure-Guided Cross-Modal Alignment (SGCMA)を提案する。 SGCMAは、Structure AlignmentとSemantic Alignmentという2つの重要なコンポーネントで構成されている。 構造アライメント(Structure Alignment)において、状態遷移行列は、隠れマルコフモデル(HMM)を介してテキストデータから学習され、浅いトランスフォーマーベースの最大エントロピーマルコフモデル(MEMM)はホットスタート遷移行列を受け取り、各時間パッチを状態確率にアノテートし、時間的表現列が言語のようなシーケンシャルダイナミクスを継承することを保証する。 セマンティックアライメント(Semantic Alignment)では、各状態における時間的パッチとトップkトークン間の交差アライメントが適用され、最終的な時間的埋め込みは、状態確率に基づく重み付き平均を用いて、これらの埋め込みの期待値によって導出される。 複数のベンチマークの実験では、SGCMAが最先端のパフォーマンスを達成し、時系列予測におけるクロスモーダルアライメントに対する新しいアプローチを提供することを示した。

関連論文リスト

• Unify and Anchor: A Context-Aware Transformer for Cross-Domain Time Series Forecasting [26.59526791215]
  ドメイン間の時系列予測において,時間的パターンの複雑さと意味的ミスアライメントの2つの重要な課題を識別する。 本稿では,周波数成分を統一的な視点でアンタングルする"Unify and Anchor"転送パラダイムを提案する。 本稿では,構造化表現に時系列コーディネータを用いたTransformerベースのモデルであるContexTSTを紹介する。
  論文  参考訳（メタデータ） (2025-03-03T04:11:14Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。