論文の概要: EvoCut: Multi-Layer Evolution-Aware Visual Token Compression for Efficient Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.01756v1
• Date: Mon, 01 Jun 2026 06:21:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.414765
• Title: EvoCut: Multi-Layer Evolution-Aware Visual Token Compression for Efficient Large Vision-Language Models
• Title（参考訳）: EvoCut:多層進化型視覚トーケン圧縮による高能率ビジョンランゲージモデル
• Authors: Hongyu Lu, Feng Zhang, Wenwei Jin, Huanling Hu, Pengfei Zhang, Yao Hu, Jiawei Li, Shikai Jiang,
• Abstract要約: 多層展開偏差からトークンの重要度を推定する視覚的トークン圧縮法を提案する。 EvoCutは平均的なパフォーマンスの94.4%を維持しながら、LLaVA-1.5-7B上の視覚トークンの11.1%しか保持できない。
• 参考スコア（独自算出の注目度）: 22.359120747133414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) achieve strong performance on image and video understanding tasks, but their inference efficiency is constrained by the large number of visual tokens produced by vision encoders. Most existing visual token compression methods estimate token importance from attention scores or representation properties at specific layers, overlooking how visual tokens evolve across the vision encoder. Such layer-specific criteria may provide incomplete importance estimates and limit performance preservation after compression. To address this issue, we analyze layer-wise visual token evolution directions and observe that tokens form multiple group evolution directions across vision-encoder layers. Our analysis further shows that informative tokens tend to exhibit persistent deviations from common group evolution directions. Based on this observation, we propose EvoCut, a training-free and attention-free visual token compression method that estimates token importance from multi-layer evolution deviation. Experimental results show that EvoCut can retain only 11.1\% of the visual tokens on LLaVA-1.5-7B while preserving 94.4\% of the average performance, demonstrating its effectiveness in balancing efficiency and accuracy.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は画像および映像理解タスクにおいて高い性能を達成するが、その推論効率は視覚エンコーダによって生成される多数の視覚トークンによって制約される。 既存の視覚トークン圧縮手法は、視覚トークンが視覚エンコーダ全体にわたってどのように進化するかを見越して、特定のレイヤにおける注目スコアや表現特性からトークンの重要性を推定する。 このような層固有の基準は、圧縮後の不完全な重要度推定と性能保存を制限できる。 この問題に対処するために、我々は層単位での視覚トークンの進化方向を分析し、トークンが視覚エンコーダ層にまたがる複数のグループ進化方向を形成することを観察する。 分析の結果,情報トークンは集団進化の方向から常に逸脱する傾向にあることが明らかとなった。 本研究は,多層展開偏差からトークンの重要度を推定する学習自由かつ注意自由な視覚トークン圧縮手法であるEvoCutを提案する。 実験の結果、LLaVA-1.5-7B上の視覚トークンの11.1\%しか保持できず、平均的な性能の94.4\%を保ち、効率と精度のバランスをとる効果を示した。

関連論文リスト

• EvoComp: Learning Visual Token Compression for Multimodal Large Language Models via Semantic-Guided Evolutionary Labeling [7.872065731262025]
  EvoCompは、タスクの精度を維持しながらトークン数を著しく削減するビジュアルトークン圧縮フレームワークである。 3倍のトークン圧縮で元の精度の99.3%を保持し、モバイルデバイスで最大1.6倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-04-18T17:52:02Z)
• SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models [0.6299766708197883]
  そこで本研究では,Singular Value Decompositionに基づく,学習不要でプラグアンドプレイのトークンプルーニング手法であるSVD-Pruneを提案する。 ビジョントークンの特徴行列を分解し、統計レバレッジスコアを使用してトップKトークンを選択する。 実験の結果、SVD-Prune は極端視覚トークンの予算下でのプルーニング手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-04-13T14:30:13Z)
• AdaTok: Adaptive Token Compression with Object-Aware Representations for Efficient Multimodal LLMs [29.68162972167947]
  適応トークン圧縮のためのオブジェクトレベルのトークンマージ戦略を提案する。 当社のアプローチでは,バニラモデルのパフォーマンスの96%を達成しながら,トークンの10%しか使用していません。
  論文  参考訳（メタデータ） (2025-11-18T06:12:15Z)
• Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
  MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。 近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。 本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
  論文  参考訳（メタデータ） (2025-10-03T11:33:40Z)
• HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models [60.028070589466445]
  本稿では,コンテンツ適応型トークン予算配分と関数対応トークン選択を統合したフレームワークHEROを提案する。 本研究は、HR-LVLMにおける効率的な推論に対する経験的洞察と実践的解決策の両方を提供する。
  論文  参考訳（メタデータ） (2025-09-16T13:22:08Z)
• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。