論文の概要: VETO: Video Efficient Token Optimization for Vision Language Models

• arxiv url: http://arxiv.org/abs/2610.01785v1
• Date: Thu, 01 Oct 2026 14:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.194047
• Title: VETO: Video Efficient Token Optimization for Vision Language Models
• Title（参考訳）: VETO:視覚言語モデルのためのビデオ効率の良いトークン最適化
• Abstract要約: 視覚言語モデルのためのトレーニングオプションプラグインであるVETOについて述べる。 空間次元を圧縮することにより、VETOはその後のグローバル時間マッチングのコストを大幅に削減する。 極度のトークン飢餓では、VETOは55.7%の精度でVFlowOpt、VisionZip、FastVを上回っている。
• 参考スコア（独自算出の注目度）: 24.61785447890664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Processing long videos with Vision-Language Models (VLMs) is bottlenecked by the quadratic cost of visual tokens, making long-form inference prohibitively expensive. While single-axis compression methods mitigate this, they hit a hard efficiency floor because they treat spatial and temporal redundancy independently. We present VETO (Video Efficient Token Optimization for Vision-Language Models), a training-optional plug-in that eliminates this bottleneck through dual-axis compression: (i) an intra-frame compressor that merges semantically similar tokens within each frame via optimal-transport inspired matching, and (ii) an inter-frame compressor that identifies and merges temporally redundant frames. The key design insight is hierarchical ordering: by first compressing spatial dimensions, VETO drastically reduces the cost of subsequent global temporal matching, bypassing the efficiency wall of single-axis approaches, with an advantage that grows with modern fully-fused attention infrastructure. Empirically, VETO achieves up to 45% faster inference (e.g., on LLaVA-OneVision-7B) while preserving or improving accuracy. Under extreme token starvation (10% budget), VETO outperforms VFlowOpt (54.9%), VisionZip (52.6%), and FastV (47.9%) with 55.7% accuracy. We demonstrate universal applicability across LLaVA-OneVision, InternVL-2.5, and LongVA, with zero-shot accuracy preserved or improved in all cases.
• Abstract（参考訳）: Vision-Language Models (VLM) で長いビデオを処理するのは、視覚トークンの二次的なコストによってボトルネックになり、ロングフォーム推論は違法に高価になる。 単軸圧縮法は、これを緩和するが、空間的および時間的冗長性を独立に扱うため、ハード効率の床にぶつかる。 VETO (Video Efficient Token Optimization for Vision-Language Models for Vision-Language Models) は2軸圧縮によりこのボトルネックを解消する訓練用プラグインである。 一 最適な輸送にインスパイアされたマッチングにより各フレーム内で意味的に類似したトークンをマージするフレーム内圧縮機 (ii)時間的に冗長なフレームを特定し、マージするフレーム間圧縮機。 VETOは空間次元を初めて圧縮することで、単一軸アプローチの効率性の壁をバイパスし、その後のグローバルな時間的マッチングのコストを劇的に削減する。 実証的には、VETOは最大で45%高速な推論(LLaVA-OneVision-7Bなど)を達成し、精度を保留または改善している。 極度のトークン飢餓(10%予算)では、VETOはVFlowOpt(54.9%)、VisionZip(52.6%)、FastV(47.9%)を55.7%精度で上回っている。 LLaVA-OneVision,InternVL-2.5,LongVAにまたがる普遍的適用性を示す。

関連論文リスト

• Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
  長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。 本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。 テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
  論文  参考訳（メタデータ） (2026-04-09T11:40:25Z)
• Unified Spatio-Temporal Token Scoring for Efficient Video VLMs [61.08183446817756]
  トケンプルーニングは視覚言語モデルの計算効率を高めるために不可欠である。 本稿では,視覚トークンを ViT と LLM の両方にわたってプルークする,シンプルで軽量なモジュールである Spatio-Temporal Token Scoring (STTS) を紹介する。 STTSはアーキテクチャ全体の視覚トークンの50%を突破し、トレーニングと推論の両方で効率が62%向上した。
  論文  参考訳（メタデータ） (2026-03-18T17:59:56Z)
• DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference [14.714791872881397]
  DUET-VLMは汎用的なプラグアンドプレイデュアル圧縮フレームワークである。 精度を犠牲にすることなく、視覚的(イメージ/ビデオ)入力を小さくする堅牢な適応を可能にする。 本研究は,DUET-VLMによるエンドツーエンドトレーニングに焦点を当てた。
  論文  参考訳（メタデータ） (2026-02-21T14:22:49Z)
• METok: Multi-Stage Event-based Token Compression for Efficient Long Video Understanding [55.38256656122857]
  トレーニング不要なマルチステージイベントベースのToken圧縮フレームワークであるMETokを提案する。 我々はMETokが情報的視覚トークンを動的に選択することで効率と精度の最適なトレードオフを実現することを示す。 例えば、LongVA-7BをMETokに装備すると、80.6%のFLOPが削減され、93.5%のKVキャッシュメモリが節約される。
  論文  参考訳（メタデータ） (2025-06-03T13:19:41Z)
• HoliTom: Holistic Token Merging for Fast Video Large Language Models [32.620504076794795]
  ビデオ言語モデル(ビデオLLM)は、ビデオ理解において優れるが、冗長なビデオトークンによる計算不効率に直面する。 HoliTomは、新しいトレーニング不要な全体的トークンフレームワークである。 また,内部LLMトークンの類似性に基づくマージ手法を導入する。
  論文  参考訳（メタデータ） (2025-05-27T15:28:45Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。