論文の概要: Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering

• arxiv url: http://arxiv.org/abs/2606.18986v1
• Date: Wed, 17 Jun 2026 12:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.153267
• Title: Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
• Title（参考訳）: トークン化を超えて:時系列質問回答のための直接タイムステップ埋め込みとコントラストアライメント
• Authors: Yafeng Wu, Huu Hiep Nguyen, Thin Nguyen, Hung Le,
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩により、時系列質問応答(TSQA)が生まれている。 TSQAは時系列解析を自然言語による質問応答として定式化する。 この課題に対処するために、直接時間ステップ埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されたTSQAのための新しいフレームワークであるCADEを提案する。
• 参考スコア（独自算出の注目度）: 13.074536659496362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have given rise to time-series question answering (TSQA), which formulates time-series analysis as natural-language question answering. However, directly feeding raw numerical series into LLMs suffers from a tokenization bottleneck: Byte Pair Encoding fragments continuous values into unstable tokens whose embeddings lack meaningful metric structure, resulting in the loss of magnitude, scale, and trend information. Prior methods use patch-based encoders that split the series into fixed windows, locking in one granularity that breaks patterns and hides exact timesteps, through a separate module that rarely transfers across datasets with different lengths or sampling rates. To address this challenge, we propose CADE (Contrastive Alignment with Direct Embedding), a novel framework for TSQA built upon two key components: direct timestep embedding and semantic alignment. The proposed framework maps each timestep directly into the LLM embedding space through a point-wise linear encoder and MLP projector, preserving exact index-level access while eliminating the need for patching and padding. To further bridge the semantic gap between time-series and language representations, we introduce a novel one-directional supervised contrastive loss that aligns time-series embeddings with frozen class-name text anchors. Experimental results on the public Time-MQA benchmark demonstrate that our framework consistently improves performance across six TSQA tasks, outperforming both open-source and proprietary LLM baselines.
• Abstract（参考訳）: 近年の大規模言語モデル (LLM) の進歩により, 時系列質問応答 (TSQA) が生まれ, 時系列解析を自然言語質問応答として定式化している。 Byte Pair Encoding は、連続した値を、意味のあるメートル法構造を持たない不安定なトークンに分解し、大きさ、スケール、トレンド情報の損失をもたらす。 以前のメソッドではパッチベースのエンコーダを使用して、シリーズを固定されたウィンドウに分割し、パターンを壊して正確なタイムステップを隠す1つの粒度にロックする。 CADE(Contrastive Alignment with Direct Embedding)は、TSQAのための新しいフレームワークで、直接時間ステップの埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されている。 提案するフレームワークは,各タイムステップをポイントワイド線形エンコーダとMPPプロジェクタを通じてLLM埋め込み空間に直接マッピングし,正確なインデックスレベルアクセスを保ちつつ,パッチやパディングの不要さを解消する。 時系列と言語表現のセマンティックギャップをさらに橋渡しするために,時系列埋め込みを凍結したクラス名テキストアンカーと整合させる一方向教師付きコントラスト損失を導入する。 公開Time-MQAベンチマークの実験結果から、我々のフレームワークは、6つのTSQAタスクにおけるパフォーマンスを継続的に改善し、オープンソースとプロプライエタリなLCMベースラインの両方を上回ります。

関連論文リスト

• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• BALM-TSF: Balanced Multimodal Alignment for LLM-Based Time Series Forecasting [5.360725360679271]
  BALM-TSFは時系列予測のための軽量フレームワークである。 時系列とテキスト埋め込みのバランスを維持する。 長期および少数ショットの予測において、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-30T22:31:55Z)
• TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment [21.690191536424567]
  TimeCMAは、時系列予測のための直感的で効果的なフレームワークである。 8つの実際のデータセットに対する大規模な実験は、TimeCMAが最先端のデータセットを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-03T00:27:29Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。