論文の概要: Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models

• arxiv url: http://arxiv.org/abs/2606.13624v1
• Date: Thu, 11 Jun 2026 17:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.956246
• Title: Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models
• Title（参考訳）: 統一トークンを超えて - 時系列言語モデルに対する適応圧縮
• Authors: Jialin Gan, Xin Qiu, Guangzhe Chen, Xue Wang,
• Abstract要約: 非対称な視点から時系列言語モデリングにおけるトークン効率について検討する。 TSトークンは、多くのトークンが冗長な周波数パターンを共有し、小さなサブセットが重要な時間的証拠を保存している、非常に不均一なスペクトル寄与を有することを示す。 我々は、周波数領域構造を介してTSトークンを圧縮し、層間のプロンプトトークンを段階的に削減する適応トークン予算フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 5.75338138628308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have enabled time series (TS) analysis by jointly modeling numerical observations and textual context through a shared token interface. However, TS tokens and prompt tokens exhibit fundamentally different information structures, making uniform token processing inefficient. In this paper, we study token efficiency in TS language modeling from an asymmetric-token perspective. We show that TS tokens have highly uneven spectral contributions, where many tokens share redundant frequency patterns while a small subset preserves critical temporal evidence. We also observe that prompt-token influence attenuates with model depth, suggesting that full prompt retention across all layers is unnecessary. Based on these findings, we develop an adaptive token budgeting framework that compresses TS tokens via frequency-domain structure and progressively reduces prompt tokens across layers. Experiments across forecasting, classification, imputation, and anomaly detection demonstrate up to \textit{\textbf{7.68$\times$}} inference acceleration and performance gains in \textit{\textbf{78\%}} of evaluated settings, showing the effectiveness of asymmetric token compression for scalable TS foundation models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、共有トークンインタフェースを通じて数値観測とテキストコンテキストを共同でモデル化することにより、時系列解析(TS)を可能にした。 しかし、TSトークンとプロンプトトークンは基本的に異なる情報構造を示し、均一なトークン処理を非効率にする。 本稿では,非対称な視点からTS言語モデリングにおけるトークン効率について検討する。 TSトークンは、多くのトークンが冗長な周波数パターンを共有し、小さなサブセットが重要な時間的証拠を保存している、非常に不均一なスペクトル寄与を有することを示す。 また、プロンプト・トーケンの影響はモデル深度で減衰し、すべての層にまたがる完全なプロンプト保持は不要であることを示す。 これらの知見に基づいて、周波数領域構造を介してTSトークンを圧縮し、層間のプロンプトトークンを段階的に削減する適応トークン予算フレームワークを開発する。 予測、分類、計算、異常検出に関する実験は、スケーラブルなTS基盤モデルに対する非対称なトークン圧縮の有効性を示す評価設定の \textit{\textbf{7.68$\times$}} 推論の加速と性能向上を示す。

関連論文リスト

• PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding [88.17174909130188]
  LVLM(Large Vision-Language Models)は、視覚的な入力を高密度なトークンシーケンスにマッピングし、推論に二次的な計算ボトルネックを与える。 特徴抽出の労力を動的に分配する視覚トークン化アーキテクチャであるPARCELを紹介する。 PARCELは、既存のマトリシカベースラインを「一度にトレーニングし、どこにでもデプロイする」パラダイムを保ちながら、視覚障害者の予算で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-28T15:57:31Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)
• Saliency-driven Dynamic Token Pruning for Large Language Models [32.903622070917194]
  塩分駆動型動的トケンプルーニング(SDTP) 軽量なサリエンシ駆動予測モジュールは、各トークンの重要度をその隠れ状態で推定するように設計されている。 ランキングに基づく最適化手法を提案し,評価スコアと予測重要スコアのランキングばらつきを最小化する。
  論文  参考訳（メタデータ） (2025-04-06T15:15:07Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning [46.43130011147807]
  特に、トークンとボイラープレートトークンの推論は、重要性と学習の複雑さにおいて大きく異なります。 本稿では,適応トークン識別のための新しいShuffle-Aware Discriminator (SHAD)を提案する。 SHADを用いて、微調整中の推論トークンを適応的に強調するReasoning-Highlighted Fine-Tuning (RFT)法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T12:06:24Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。