論文の概要: Video Codec-Guided Training-Free Token Compression for Video Large Language Models

• arxiv url: http://arxiv.org/abs/2610.12959v1
• Date: Fri, 09 Oct 2026 03:56:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.380903
• Title: Video Codec-Guided Training-Free Token Compression for Video Large Language Models
• Title（参考訳）: ビデオコーデックによる大規模言語モデルの学習自由度圧縮
• Abstract要約: 本稿では,大規模言語モデルを対象としたビデオ誘導型トレーニングフリートークン圧縮手法を提案する。 この方法は、参照フレームの依存関係、動きベクトル、残余をビジュアルトークングリッドと整列する。 実験により,提案手法は,最先端の訓練不要ベースラインFlashVIDに匹敵する性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 36.79301381360362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video large language models (VLLMs) rely on long visual token sequences to understand complex temporal content, which makes visual token compression important for efficient inference. Existing training-free compression methods mainly reduce the number of tokens sent to the language model, but the compression process itself can still require many visual feature comparisons, especially for intra-frame token protection and inter-frame temporal token merging. This paper proposes a video codec-guided training-free token compression method for VLLMs that uses coding information already available in compressed video as a low-cost search prior. The method aligns reference-frame dependencies, motion vectors, and residuals with the visual token grid. Residual information forms compact candidate pools for token protection, while motion information is propagated along reference-frame chains to construct localized candidates for temporal token merging between sparsely sampled frames. Local visual feature similarity comparison is then used within these candidates to make the final compression decisions, without modifying the base VLLM. Experiments on three representative VLLMs and four video-understanding benchmarks show that the proposed method achieves performance comparable to the state-of-the-art training-free baseline FlashVID, and in some settings surpasses it, while substantially reducing the feature comparisons required by token protection and temporal matching. These results demonstrate that codec information can effectively improve the accuracy-complexity tradeoff of video token compression.
• Abstract（参考訳）: ビデオ大言語モデル(VLLM)は、複雑な時間的内容を理解するために長い視覚的トークンシーケンスに依存しており、効率的な推論のために視覚的トークン圧縮が重要である。 既存のトレーニングフリー圧縮手法は、主に言語モデルに送信されるトークンの数を減らすが、圧縮プロセス自体は、フレーム内トークン保護やフレーム間の時間トークンのマージなど、多くの視覚的特徴比較を必要とする。 本稿では,圧縮ビデオで既に利用可能な符号化情報を用いたVLLMのためのビデオコーデック誘導型トレーニングフリートークン圧縮手法を提案する。 この方法は、参照フレームの依存関係、動きベクトル、残余をビジュアルトークングリッドと整列する。 残余情報はトークン保護のためのコンパクトな候補プールを形成し、移動情報は参照フレームチェーンに沿って伝播し、疎サンプリングされたフレーム間の時間トークンマージのための局所化候補を構築する。 局所的な視覚的特徴類似性比較は、これらの候補の中で、ベースVLLMを変更することなく最終的な圧縮決定を行うために使用される。 3つの代表的なVLLMと4つのビデオアンダードベンチマーク実験により,提案手法は最先端のトレーニング不要ベースラインFlashVIDに匹敵する性能を達成し,いくつかの設定では,トークン保護と時間的マッチングによって要求される特徴比較を大幅に削減する。 これらの結果から,コーデック情報はビデオトークン圧縮の精度・複雑さのトレードオフを効果的に改善できることが示された。

関連論文リスト

• Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline [27.715058333490447]
  視覚表現に符号化された構造を単純に保存することで,圧縮性能をどの程度向上させることができるかを検討する。 私たちはSimpleClusterを使って、視覚的特徴空間における位置対応のクロスフレームクラスタリングを実行しています。 実験の結果、SimpleClusterは最近の圧縮手法よりも競争力や優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2026-09-28T15:21:37Z)
• Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere [5.7189025167000205]
  ビデオ大言語モデル (Video-LLMs) は、映像を視覚トークンの高密度なシーケンスとして表現し、その長さは入力の時間的および空間的範囲で増大する。 既存のトークン圧縮手法(プルーニングやマージなど)は、推論中にオンラインで圧縮を行う。 オフラインからオンラインへのパラダイムを導入するプラグインビデオトークン圧縮フレームワークである textbfONCE を提案する。
  論文  参考訳（メタデータ） (2026-08-02T14:24:13Z)
• VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression [52.23010472235226]
  視覚言語モデル(VLM)は大量の視覚トークンを処理し、かなりの推論とオーバーヘッドレイテンシをもたらす。 本稿では,VLM自体を固有圧縮機として再利用する,トレーニング効率のよい自己圧縮フレームワークであるVisCoを提案する。
  論文  参考訳（メタデータ） (2026-07-14T13:21:36Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression [114.03378443007074]
  現在のトークンライザは、すべてのコンテンツを固定レートで厳格に圧縮し、冗長性や情報損失につながる。 本稿では,適応型ビデオトークン化のための原則的フレームワークであるInfoTokを紹介する。 我々は,適応トークン化を実現するトランスベースの適応圧縮機を開発した。
  論文  参考訳（メタデータ） (2025-12-18T17:13:59Z)
• FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding [55.700832127331324]
  FLoCは、施設位置関数に基づく効率的なビジュアルトークン圧縮フレームワークである。 本手法は,トークンのコンパクトな部分集合を迅速に選択することにより,顕著な効率向上を実現する。 私たちのアプローチは、トレーニング不要、モデル非依存、クエリ非依存で、汎用的なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-10-31T17:29:39Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models [64.9366388601049]
  ビジュアルトークン圧縮は、視覚入力の相当なトークン長を減らすために利用される。 我々は,プログレッシブ・ビジュアル・トークン圧縮と呼ばれる統一的なトークン圧縮戦略を導入する。 本モデルは,様々なビデオ理解ベンチマークにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:40Z)
• DyCoke: Dynamic Compression of Tokens for Fast Video Large Language Models [28.379533608574814]
  トークン表現の最適化とビデオ大言語モデルの高速化を目的とした,トレーニング不要なトークン圧縮手法であるDyCokeを提案する。 DyCokeは、フレーム間で冗長トークンをマージすることによって、時間的冗長性を最小化するために、プラグインとプレイの時間的圧縮モジュールを組み込んでいる。 各デコードステップでクリティカルトークンを動的に保持することで、高品質な推論を保証する。
  論文  参考訳（メタデータ） (2024-11-22T15:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。