論文の概要: Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
- arxiv url: http://arxiv.org/abs/2606.18986v1
- Date: Wed, 17 Jun 2026 12:07:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:51.153267
- Title: Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
- Title（参考訳）: トークン化を超えて:時系列質問回答のための直接タイムステップ埋め込みとコントラストアライメント
- Abstract要約: 大規模言語モデル(LLM)の最近の進歩により、時系列質問応答(TSQA)が生まれている。
TSQAは時系列解析を自然言語による質問応答として定式化する。
この課題に対処するために、直接時間ステップ埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されたTSQAのための新しいフレームワークであるCADEを提案する。
- 参考スコア（独自算出の注目度）: 13.074536659496362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large language models (LLMs) have given rise to time-series question answering (TSQA), which formulates time-series analysis as natural-language question answering. However, directly feeding raw numerical series into LLMs suffers from a tokenization bottleneck: Byte Pair Encoding fragments continuous values into unstable tokens whose embeddings lack meaningful metric structure, resulting in the loss of magnitude, scale, and trend information. Prior methods use patch-based encoders that split the series into fixed windows, locking in one granularity that breaks patterns and hides exact timesteps, through a separate module that rarely transfers across datasets with different lengths or sampling rates. To address this challenge, we propose CADE (Contrastive Alignment with Direct Embedding), a novel framework for TSQA built upon two key components: direct timestep embedding and semantic alignment. The proposed framework maps each timestep directly into the LLM embedding space through a point-wise linear encoder and MLP projector, preserving exact index-level access while eliminating the need for patching and padding. To further bridge the semantic gap between time-series and language representations, we introduce a novel one-directional supervised contrastive loss that aligns time-series embeddings with frozen class-name text anchors. Experimental results on the public Time-MQA benchmark demonstrate that our framework consistently improves performance across six TSQA tasks, outperforming both open-source and proprietary LLM baselines.
- Abstract（参考訳）: 近年の大規模言語モデル (LLM) の進歩により, 時系列質問応答 (TSQA) が生まれ, 時系列解析を自然言語質問応答として定式化している。
Byte Pair Encoding は、連続した値を、意味のあるメートル法構造を持たない不安定なトークンに分解し、大きさ、スケール、トレンド情報の損失をもたらす。
以前のメソッドではパッチベースのエンコーダを使用して、シリーズを固定されたウィンドウに分割し、パターンを壊して正確なタイムステップを隠す1つの粒度にロックする。
CADE(Contrastive Alignment with Direct Embedding)は、TSQAのための新しいフレームワークで、直接時間ステップの埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されている。
提案するフレームワークは,各タイムステップをポイントワイド線形エンコーダとMPPプロジェクタを通じてLLM埋め込み空間に直接マッピングし,正確なインデックスレベルアクセスを保ちつつ,パッチやパディングの不要さを解消する。
時系列と言語表現のセマンティックギャップをさらに橋渡しするために,時系列埋め込みを凍結したクラス名テキストアンカーと整合させる一方向教師付きコントラスト損失を導入する。
公開Time-MQAベンチマークの実験結果から、我々のフレームワークは、6つのTSQAタスクにおけるパフォーマンスを継続的に改善し、オープンソースとプロプライエタリなLCMベースラインの両方を上回ります。
関連論文リスト
- From Recognition to Understanding: Unlocking Cognitive Time Series Reasoning with LLMs [21.316087276322214]
時系列分析は、最近Large Language Models (LLMs)と結合して、推論と世界知識の能力を活用している。
TSCognitionは多次元時系列推論のためのマルチモーダルベンチマークである。
本稿では,時系列をコンパクトなパッチレベル表現にエンコードする統合フレームワークTSAlignを提案する。
論文 参考訳（メタデータ） (2026-06-20T16:08:44Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - BALM-TSF: Balanced Multimodal Alignment for LLM-Based Time Series Forecasting [5.360725360679271]
BALM-TSFは時系列予測のための軽量フレームワークである。
時系列とテキスト埋め込みのバランスを維持する。
長期および少数ショットの予測において、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-08-30T22:31:55Z) - Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。
本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-24T12:32:19Z) - TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment [21.690191536424567]
TimeCMAは、時系列予測のための直感的で効果的なフレームワークである。
8つの実際のデータセットに対する大規模な実験は、TimeCMAが最先端のデータセットを上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-03T00:27:29Z) - CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。
分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。
CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2024-03-12T04:04:38Z) - $\ extbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting [21.921303835714628]
本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。
提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳（メタデータ） (2024-03-09T05:20:48Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-03-01T08:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。