論文の概要: CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.01644v1
- Date: Mon, 03 Aug 2026 03:27:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.313272
- Title: CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models
- Title（参考訳）: CRAFT:視覚言語モデルのためのビデオトークンの再帰的適応融合による圧縮
- Abstract要約: 我々はCRAFT: Resive Adaptive Fusion Video Tokensによる圧縮を提案する。
CRAFTは、最先端のトークン圧縮手法よりも一貫して優れている。
圧縮価格は約8ドルで、バックボーンの平均精度の約97%を保持します。
- 参考スコア（独自算出の注目度）: 9.660619113725843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In video understanding, vision-language models (VLMs) must ingest massive numbers of visual tokens, causing the computational and memory cost of the prefill stage to rise sharply. Such visual sequences are highly redundant along the spatio-temporal dimension, yet a high compression ratio is often accompanied by the loss of critical details. Existing token-compression methods either employ heuristic, training-free compression with limited content adaptivity or introduce additional modules that require expensive alignment training, leaving the trade-off between efficiency and adaptivity unresolved. To alleviate this limitation, we propose CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens. CRAFT recursively merges tokens by decoupling parameter-free token selection from learnable token fusion: global similarity determines which tokens to merge, while a position-aware weighting module and a content-adaptive channel-wise gate learn how to fuse them. The whole compression pipeline is query-agnostic. Because every retained token is a linear combination of the original tokens, CRAFT preserves their true spatio-temporal coordinates and stays aligned with the pre-trained language model's input distribution. Experiments on multiple representative video benchmarks show that CRAFT consistently outperforms prior state-of-the-art token-compression methods. At about $8\times$ compression, it retains roughly $97\%$ of the backbone's average accuracy and shows significant efficiency improvement.
- Abstract（参考訳）: ビデオ理解においては、視覚言語モデル(VLM)は大量の視覚トークンを取り込み、プリフィルステージの計算とメモリコストが急上昇する。
このような視覚的シーケンスは時空間次元に沿って非常に冗長であるが、高い圧縮比は重要な詳細が失われることを伴うことが多い。
既存のトークン圧縮手法では、制限されたコンテンツ適応性を備えたヒューリスティックでトレーニング不要な圧縮を採用するか、高価なアライメントトレーニングを必要とする追加モジュールを導入し、効率性と適応性の間のトレードオフを未解決のままにしておく。
この制限を緩和するため、我々はCRAFT: Compression via Recursive Adaptive Fusion of Video Tokensを提案する。
CRAFTは、パラメータフリーなトークン選択を学習可能なトークン融合から切り離して、トークンを再帰的にマージする: グローバルな類似性は、どのトークンをマージするかを決定する。
圧縮パイプライン全体がクエリに依存しない。
全ての保持トークンは元のトークンの線形結合であるため、CRAFTは真の時空間座標を保持し、事前訓練された言語モデルの入力分布に一致しない。
複数の代表的ビデオベンチマークの実験では、CRAFTは最先端のトークン圧縮手法よりも一貫して優れていた。
約8\times$圧縮で、バックボーンの平均精度の約97\%を保ち、大幅な効率改善を示している。
関連論文リスト
- Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation [3.7696381512190804]
非形式的トークンを捨てる適応トークンセレクタを提案する。
実験により,本モデルが最先端圧縮比で強い復元と生成品質を実現することを示す。
論文 参考訳（メタデータ） (2026-08-25T09:19:22Z) - EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation [80.13014959623452]
EVATokは、$textbfE$fficient $textbfV$ideo $textbfA$daptive $textbfTok$enizersを生成するフレームワークである。
EVATok は UCF-101 上でより優れた再構成と最先端のクラス・ビデオ生成を実現する。
論文 参考訳（メタデータ） (2026-03-12T17:59:59Z) - ConsensusDrop: Fusing Visual and Cross-Modal Saliency for Efficient Vision Language Models [4.273730624882391]
視覚言語モデル(VLM)は、LLMが数百のほとんど冗長な視覚トークンを処理するため、高価である。
いずれの信号も十分ではないことが示される: それらを融合することで、一意的な視覚トークン選択(ランキング)に比べて、一貫して性能が向上する。
textbfConsensusDropは、視覚エンコーダのサリエンシをクエリ対応のクロスアテンションと整合させることにより、アンフコンセンサスランキングを導出する、トレーニング不要のフレームワークである。
論文 参考訳（メタデータ） (2026-02-01T00:28:55Z) - InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression [114.03378443007074]
現在のトークンライザは、すべてのコンテンツを固定レートで厳格に圧縮し、冗長性や情報損失につながる。
本稿では,適応型ビデオトークン化のための原則的フレームワークであるInfoTokを紹介する。
我々は,適応トークン化を実現するトランスベースの適応圧縮機を開発した。
論文 参考訳（メタデータ） (2025-12-18T17:13:59Z) - VisionSelector: End-to-End Learnable Visual Token Compression for Efficient Multimodal LLMs [82.72388893596555]
MLLM(Multimodal Large Language Models)は、計算とメモリのボトルネックに遭遇する。
従来のトークン圧縮技術は、重要な情報を破棄するリスクを負うルールによって制約されることが多い。
我々は,トークン圧縮をエンドツーエンドの学習可能な決定プロセスに再構成する軽量なプラグアンドプレイフレームワークとして,トークン圧縮を再構成する。
論文 参考訳（メタデータ） (2025-10-18T17:54:18Z) - Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space [94.07013629356113]
AdapTokは、ビデオコンテンツに基づいて異なるフレームに対してフレキシブルにトークンを割り当てる適応的時間的因果的ビデオトークンライザである。
AdapTokは、異なるトークン予算の下で、再構築品質と生成パフォーマンスを継続的に改善する。
論文 参考訳（メタデータ） (2025-05-22T17:59:02Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳（メタデータ） (2025-03-21T09:46:31Z) - Video Token Merging for Long-form Video Understanding [17.59960070514554]
学習可能なビデオトークンのマージアルゴリズムを提案し,その正当性に基づいて動的にトークンをマージする。
提案手法は,メモリコストを84%削減し,スループットをベースラインアルゴリズムに比べて約6.89倍向上させる。
論文 参考訳（メタデータ） (2024-10-31T09:55:32Z) - ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。
推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。
画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
論文 参考訳（メタデータ） (2024-10-10T20:54:15Z) - Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。
これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。
トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
論文 参考訳（メタデータ） (2024-07-19T16:11:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。