論文の概要: SEED: A Structural Encoder for Embedding-Driven Decoding in Time Series Prediction with LLMs

• arxiv url: http://arxiv.org/abs/2506.20167v1
• Date: Wed, 25 Jun 2025 06:40:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.62647
• Title: SEED: A Structural Encoder for Embedding-Driven Decoding in Time Series Prediction with LLMs
• Title（参考訳）: SEED: LLMを用いた時系列予測における埋め込み駆動デコーディングのための構造エンコーダ
• Authors: Fengze Li, Yue Wang, Yangle Liu, Ming Huang, Dou Hong, Jieming Ma,
• Abstract要約: 組込み型デコードのための構造的エンコーダSEEDは,パッチ抽出のためのトークン対応エンコーダ,言語モデル埋め込みとパッチを整列するプロジェクションモジュール,タスク対応プロトタイプにパッチをマッピングするセマンティックプログラミング機構の4つの段階を統合している。 このモジュラーアーキテクチャは、推論から表現学習を分離し、数値パターンと意味論的推論の効率的なアライメントを可能にする。
• 参考スコア（独自算出の注目度）: 3.036179638516407
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multivariate time series forecasting requires models to simultaneously capture variable-wise structural dependencies and generalize across diverse tasks. While structural encoders are effective in modeling feature interactions, they lack the capacity to support semantic-level reasoning or task adaptation. Conversely, large language models (LLMs) possess strong generalization capabilities but remain incompatible with raw time series inputs. This gap limits the development of unified, transferable prediction systems. Therefore, we introduce SEED, a structural encoder for embedding-driven decoding, which integrates four stages: a token-aware encoder for patch extraction, a projection module that aligns patches with language model embeddings, a semantic reprogramming mechanism that maps patches to task-aware prototypes, and a frozen language model for prediction. This modular architecture decouples representation learning from inference, enabling efficient alignment between numerical patterns and semantic reasoning. Empirical results demonstrate that the proposed method achieves consistent improvements over strong baselines, and comparative studies on various datasets confirm SEED's role in addressing the structural-semantic modeling gap.
• Abstract（参考訳）: 多変量時系列予測では、モデルが同時に可変的な構造的依存関係をキャプチャし、多様なタスクにまたがって一般化する必要がある。 構造エンコーダは機能相互作用のモデリングに有効であるが、意味レベルの推論やタスク適応をサポートする能力は欠如している。 逆に、大きな言語モデル(LLM)は強力な一般化能力を持っているが、生の時系列入力とは相容れない。 このギャップは、統一的で伝達可能な予測システムの開発を制限する。 そこで本研究では,パッチ抽出のためのトークン対応エンコーダ,言語モデル埋め込みとパッチを整列するプロジェクションモジュール,タスク対応プロトタイプにパッチをマッピングするセマンティックプログラミング機構,および予測のためのフリーズ言語モデルという,組込み型デコーディングのための構造的エンコーダであるSEEDを紹介する。 このモジュラーアーキテクチャは、推論から表現学習を分離し、数値パターンと意味論的推論の効率的なアライメントを可能にする。 実験結果から,提案手法は強いベースラインよりも一貫した改善を達成し,構造・セマンティックなモデリングギャップにSEEDが果たす役割を検証した。

関連論文リスト

• Temporal-Spectral-Spatial Unified Remote Sensing Dense Prediction [62.376936772702905]
  リモートセンシングのための現在のディープラーニングアーキテクチャは、基本的に堅固である。 本稿では,統合モデリングのための空間時間スペクトル統一ネットワーク(STSUN)について紹介する。 STSUNは任意の空間サイズ、時間長、スペクトル帯域で入力および出力データに適応することができる。 トレーニング可能なタスクの埋め込みにモデルを条件付けすることで、単一のアーキテクチャ内で異なる密集した予測タスクを統一する。
  論文  参考訳（メタデータ） (2025-05-18T07:39:17Z)
• LLM4FTS: Enhancing Large Language Models for Financial Time Series Prediction [0.0]
  従来の機械学習モデルは、制限されたモデル容量に制約された予測タスクに制限を示す。 我々は、学習可能なパッチセグメンテーションと動的ウェーブレット畳み込みモジュールによる時間的シーケンスモデリングを強化する新しいフレームワークLLM4FTS$を提案する。 実世界の金融データセットの実験は、このフレームワークの有効性を実証し、複雑な市場パターンを捉える上で優れたパフォーマンスを示し、ストックリターン予測の最先端結果を達成する。
  論文  参考訳（メタデータ） (2025-05-05T06:48:34Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。