論文の概要: TEMPO: Time Series Understanding via Discrete Tokenization

• arxiv url: http://arxiv.org/abs/2611.04482v1
• Date: Tue, 03 Nov 2026 08:13:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-09 23:18:12.47719
• Title: TEMPO: Time Series Understanding via Discrete Tokenization
• Title（参考訳）: TEMPO:離散トークン化による時系列理解
• Abstract要約: LLMの語彙を文脈対応トランスフォーマートークン化器から個別コードで拡張するTEMPOを提案する。 Qwen3-4Bのバックボーンとタスク固有の微調整により、TEMPOは89.0%のマクロF1スコア、85.0%の睡眠ステージ、86.4%のベアリングフォールト診断を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Time-series interpretation often requires both numerical observations and textual context. Integrating these inputs into a pretrained language model raises a representation question: how should a signal enter the model's token sequence? We present TEMPO, which extends an LLM's vocabulary with discrete codes from a context-aware Transformer tokenizer using finite scalar quantization. A frozen tokenizer maps four-step patches to a 625-code vocabulary; signal tokens, scale statistics, and text are then processed by the LLM's existing self-attention layers. Adaptation updates the new token embeddings and DoRA adapters. With a Qwen3-4B backbone and task-specific fine-tuning, TEMPO achieves macro-F1 scores of 89.0% on activity recognition, 85.0% on sleep staging, and 86.0% on bearing-fault diagnosis. Time-series question answering and qualitative bearing-diagnosis examples further illustrate how this interface combines signal representations with textual context. Together, these results demonstrate the utility of discrete vocabulary extension for time-series understanding.
• Abstract（参考訳）: 時系列の解釈は、数値的な観察とテキストの文脈の両方を必要とすることが多い。 これらの入力を事前訓練された言語モデルに統合すると、表現に関する疑問が持ち上がる。 有限スカラー量子化を用いた文脈対応トランスフォーマートークン化器の離散符号でLLMの語彙を拡張するTEMPOを提案する。 凍結トークン化器は4段階のパッチを625コード語彙にマッピングし、信号トークン、スケール統計、テキストはLLMの既存の自己保持層によって処理される。 Adaptationは新しいトークン埋め込みとDoRAアダプタを更新する。 Qwen3-4Bのバックボーンとタスク固有の微調整により、TEMPOは89.0%のマクロF1スコア、85.0%の睡眠ステージ、86.0%のベアリングフォールト診断を達成している。 時系列質問応答と定性的軸受診断の例は、このインターフェースがいかにして信号表現とテキストコンテキストを組み合わせているかをさらに示している。 これらの結果は、時系列理解のための離散語彙拡張の有用性を示すものである。

関連論文リスト

• Lotus: Learning to Understand Time-series by Learning to Forecast [6.082913523231794]
  時系列言語モデルは通常、ラベル、キャプション、質問応答ペアを使用して、数値信号と言語を一致させる。 我々は、下流タスクに適応する前に、言語対応の時系列表現が将来の進化を予測することを要求する事前学習の原則である予測グラウンドを導入する。 この原理をLOTUSでインスタンス化し、各時系列チャンネルを重複しないパッチに分割し、LLM埋め込み空間にマッピングする。
  論文  参考訳（メタデータ） (2026-10-01T01:44:55Z)
• SAGE: Variate-Wise Semantic Augmentation for Vision-Language Time Series Forecasting [6.3330628137530605]
  時系列予測モデルは生の数値列で動作し、ドメインの専門家が暗黙的に利用する意味的な知識を欠いている。 本稿では,時間的・相互変数的・テキスト的・視覚的情報を共同でモデル化する,エンドツーエンドのCLIPベースのフレームワークであるSAGEを提案する。
  論文  参考訳（メタデータ） (2026-08-27T09:04:45Z)
• Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering [13.074536659496362]
  大規模言語モデル(LLM)の最近の進歩により、時系列質問応答(TSQA)が生まれている。 TSQAは時系列解析を自然言語による質問応答として定式化する。 この課題に対処するために、直接時間ステップ埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されたTSQAのための新しいフレームワークであるCADEを提案する。
  論文  参考訳（メタデータ） (2026-06-17T12:07:23Z)
• InstructTime++: Time Series Classification with Multimodal Language Modeling via Implicit Feature Enhancement [52.17579028504616]
  InstructTimeは、時系列分類をマルチモーダルな生成タスクとして再構成する新しいフレームワークである。 InstructTime++は、言語モデルの限定的な帰納バイアスを補うために、暗黙のフィーチャモデリングを導入することで、InstructTimeを拡張している。
  論文  参考訳（メタデータ） (2026-01-21T13:12:23Z)
• The Limits of Data Scaling: Sub-token Utilization and Acoustic Saturation in Multilingual ASR [6.627057618324123]
  49言語にわたる推論においてWhisperの復号動作を分析する。 モデルのサブトークン空間の利用パターンについて検討する。
  論文  参考訳（メタデータ） (2025-10-26T02:13:26Z)
• From Values to Tokens: An LLM-Driven Framework for Context-aware Time Series Forecasting via Symbolic Discretization [21.8427780153806]
  時系列予測は、エネルギー、医療、金融など、幅広い重要な応用において意思決定を支援する上で重要な役割を担っている。 我々は,言語に基づく記号表現を文脈対応時系列予測のための統合仲介手段として活用する,LLM駆動のフレームワークであるTokenCastを提案する。 具体的には、TokenCastは離散トークン化器を使用して、連続する数値列を時間トークンに変換し、言語ベースの入力と構造的アライメントを可能にする。
  論文  参考訳（メタデータ） (2025-08-08T03:51:08Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
  我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。 非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。 我々は,中国における公開データセットAISHELL-1の実験を行った。
  論文  参考訳（メタデータ） (2020-05-11T04:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。