論文の概要: DynaTok: Temporally Adaptive and Positional Bias-Aware Token Compression for Video-LLMs

• arxiv url: http://arxiv.org/abs/2605.19322v1
• Date: Tue, 19 May 2026 04:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.110235
• Title: DynaTok: Temporally Adaptive and Positional Bias-Aware Token Compression for Video-LLMs
• Title（参考訳）: DynaTok:ビデオLLMのための一時適応的・位置対応バイアス対応トーケン圧縮
• Abstract要約: DynaTokはトレーニングフリーで、時間適応的でバイアス対応のトークン圧縮フレームワークである。 トークンの予算を時間次元と空間次元の両方に割り当てる。 90%のトークン削減であっても、95%以上のベースライン精度を維持している。
• 参考スコア（独自算出の注目度）: 2.6035240359441274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Video Large Language Models (Video-LLMs) have greatly expanded multimodal reasoning capabilities. However, the massive number of visual tokens extracted from long video sequences incurs prohibitive computational costs, limiting their deployment in real-world scenarios. Existing training-free token compression methods select tokens based on attention magnitude as a proxy for semantic importance, but often overlook positional bias and rely only on short-term temporal locality, leading to redundant spatio-temporal coverage and inefficient token usage. We present DynaTok, a training-free, temporally adaptive and bias-aware token compression framework that allocates token budgets across both temporal and spatial dimensions. Through a lightweight exponential moving average (EMA) memory, the Temporal Budget Allocation (TBA) module dynamically assigns fewer tokens to redundant frames and more to novel frames, capturing long-term temporal variation. The Spatial Budget Allocation (SBA) module complements this by selecting spatially diverse and semantically important features using activation-based attention maps, while leveraging a spatial memory to reduce redundancy from previously selected regions and mitigate positional bias. DynaTok integrates seamlessly with existing Video-LLMs such as LLaVA-OneVision and LLaVA-Video without retraining, and effectively preserves semantic coverage under aggressive compression. Experiments on four representative VideoQA benchmarks-MVBench, LongVideoBench, MLVU, and VideoMME-show that DynaTok retains over 95% of baseline accuracy even with a 90% token reduction, surpassing recent training-free approaches. These results demonstrate that DynaTok provides a principled foundation for efficient and robust video reasoning, paving the way toward real-time streaming video understanding with future Video-LLMs.
• Abstract（参考訳）: ビデオ大言語モデル(Video-LLMs)の最近の進歩は、マルチモーダル推論機能を大幅に拡張した。 しかし、長いビデオシーケンスから抽出された膨大な数の視覚トークンは、計算コストを禁止し、現実のシナリオへの展開を制限する。 既存のトレーニング不要なトークン圧縮手法では、注意度に基づくトークンを意味的重要性の代用として選択するが、多くの場合、位置バイアスを見落とし、短期的局所性のみに依存し、冗長な時空間カバレッジと非効率的なトークン使用につながる。 我々は,時間次元と空間次元の双方にわたってトークン予算を割り当てる,トレーニングフリーで時間適応的でバイアス対応のトークン圧縮フレームワークDynaTokを提案する。 軽量指数移動平均(EMA)メモリを通じて、時間予算割当(TBA)モジュールは、冗長フレームや新しいフレームにより少ないトークンを動的に割り当て、長期の時間変動をキャプチャする。 空間予算割当(SBA)モジュールは、アクティベーションベースのアテンションマップを用いて空間的に多様かつ意味的に重要な特徴を選択し、空間メモリを活用して、以前選択した領域からの冗長性を低減し、位置バイアスを軽減することでこれを補完する。 DynaTokは、LLaVA-OneVisionやLLaVA-Videoのような既存のビデオLLMとシームレスに統合され、アグレッシブ圧縮下でセマンティックカバレッジを効果的に保持する。 MVBench, LongVideoBench, MLVU, VideoMME-Showの4つの代表的なTVQAベンチマークの実験では、DynaTokは90%のトークン削減でも95%以上のベースライン精度を維持しており、最近のトレーニング不要アプローチを上回っている。 これらの結果から,DynaTokは高効率でロバストなビデオ推論の基盤を提供し,将来的なビデオ-LLMによるリアルタイムストリーミングビデオ理解への道を開いた。

関連論文リスト

• FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging [27.981298261747288]
  FlashVIDはビデオ大言語モデル(VLLM)のためのトレーニング不要のアクセラレーションフレームワークである 基本的なビデオ表現のために最も代表的なトークンを選択し、その後、微細な時間的冗長性にTree-based Stemporal Tokenging (TSTM)を適用する。 FlashVIDは、長いビデオフレームを拡張するためのトレーニングフリーでプラグアンドプレイモジュールとして機能し、Qwen2.5-VLに入力されるビデオフレームを10倍増やすことができる。
  論文  参考訳（メタデータ） (2026-02-08T15:56:46Z)
• TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
  TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。 これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
  論文  参考訳（メタデータ） (2025-12-29T14:10:22Z)
• FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding [55.700832127331324]
  FLoCは、施設位置関数に基づく効率的なビジュアルトークン圧縮フレームワークである。 本手法は,トークンのコンパクトな部分集合を迅速に選択することにより,顕著な効率向上を実現する。 私たちのアプローチは、トレーニング不要、モデル非依存、クエリ非依存で、汎用的なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-10-31T17:29:39Z)
• Efficient Video Sampling: Pruning Temporally Redundant Tokens for Faster VLM Inference [5.146388234814547]
  長いビデオはしばしば現代の言語モデルのトークン予算を超え、厳しいコンテキスト制限とレイテンシの問題に繋がる。 本稿では,時間的に静的なパッチを識別・プルーニングすることで,ビデオ中のトークンの冗長性を低減できる簡易なプラグイン・アンド・プレイ方式であるEfficient Video Sampling (EVS)を紹介する。 EVSは意味的忠実性を維持しながらトークン数を大幅に削減し、より高速な推論とより長い入力シーケンスを可能にする。
  論文  参考訳（メタデータ） (2025-10-16T12:34:38Z)
• Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space [94.07013629356113]
  AdapTokは、ビデオコンテンツに基づいて異なるフレームに対してフレキシブルにトークンを割り当てる適応的時間的因果的ビデオトークンライザである。 AdapTokは、異なるトークン予算の下で、再構築品質と生成パフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-05-22T17:59:02Z)
• Exploiting Temporal State Space Sharing for Video Semantic Segmentation [53.8810901249897]
  ビデオセマンティックセグメンテーション(VSS)はシーンの時間的進化を理解する上で重要な役割を担っている。 従来の手法では、ビデオはフレーム単位で、あるいは短い時間ウィンドウで分割されることが多く、時間的コンテキストや冗長な計算、重いメモリ要求に繋がる。 本研究では,時間的特徴共有にマンバ状態空間モデルを活用するための時間的ビデオ状態空間共有アーキテクチャを提案する。 本モデルでは,映像フレーム間の関連情報を効率的に伝播する選択的ゲーティング機構を特徴とし,メモリ量の多い機能プールの必要性を解消する。
  論文  参考訳（メタデータ） (2025-03-26T01:47:42Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Temporal Preference Optimization for Long-Form Video Understanding [63.196246578583136]
  TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。 TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。 LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
  論文  参考訳（メタデータ） (2025-01-23T18:58:03Z)
• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。