論文の概要: CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2602.00247v1
• Date: Fri, 30 Jan 2026 19:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.075225
• Title: CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models
• Title（参考訳）: CAPA:高能率ビジョンランゲージモデルに対するコントリビューション・アウェア・プルーニングとFFN近似
• Authors: Samyak Jha, Junho Kim,
• Abstract要約: 本研究では,注目度をベクトルサイズで重み付けした注意貢献が,視覚的トークン選択のためのより正確な基準を提供することを示す。 本稿では、重要な機能遷移における注意貢献を用いて視覚トークンを創出する二重戦略フレームワークであるCAPA(Contribution-Aware Pruning and FFN Approximation)を紹介する。
• 参考スコア（独自算出の注目度）: 14.30682201364961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient inference in Large Vision-Language Models is constrained by the high cost of processing thousands of visual tokens, yet it remains unclear which tokens and computations can be safely removed. While attention scores are commonly used to estimate visual token importance, they are an imperfect proxy for actual contribution. We show that Attention Contribution, which weights attention probabilities by value vector magnitude, provides a more accurate criterion for visual token selection. Our empirical analysis reveals that visual attention sinks are functionally heterogeneous, comprising Probability Dumps with low contribution that can be safely pruned, and Structural Anchors with high contribution essential for maintaining model performance. Further, we identify substantial redundancy in Feed-Forward Networks (FFNs) associated with visual tokens, particularly in intermediate layers where image tokens exhibit linear behavior. Based on our findings, we introduce CAPA (Contribution-Aware Pruning and FFN Approximation), a dual-strategy framework that prunes visual tokens using attention contribution at critical functional transitions and reduces FFN computation through efficient linear approximations. Experiments on various benchmarks across baselines show that CAPA achieves competent efficiency--performance trade-offs with improved robustness.
• Abstract（参考訳）: 大きな視覚-言語モデルにおける効率的な推論は、数千の視覚トークンを処理するのに高いコストで制約されているが、どのトークンや計算を安全に除去できるかは定かではない。 注意スコアは視覚的トークンの重要性を推定するために一般的に使用されるが、実際のコントリビューションに対する不完全なプロキシである。 本研究では,注目度をベクトルサイズで重み付けした注意貢献が,視覚的トークン選択のためのより正確な基準を提供することを示す。 実験により,視覚的注意シンクは機能的に不均一であり,安全に刈り取ることができる確率ダンプと,モデル性能維持に不可欠な構造アンカーとから構成されていることが明らかとなった。 さらに、画像トークンが線形な振る舞いを示す中間層において、視覚トークンに関連するフィードフォワードネットワーク(FFN)のかなりの冗長性を同定する。 本稿では,重要な機能的遷移における注意貢献による視覚トークンの創出と,効率的な線形近似によるFFN計算の削減を両立させたCAPA(Contribution-Aware Pruning and FFN Approximation)を提案する。 ベースラインにまたがる様々なベンチマーク実験により、CAPAは堅牢性を改善した高性能なトレードオフを実現することが示されている。

関連論文リスト

• Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
  MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。 近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。 本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
  論文  参考訳（メタデータ） (2025-10-03T11:33:40Z)
• Artifacts and Attention Sinks: Structured Approximations for Efficient Vision Transformers [8.486148475471271]
  ビジョントランスフォーマーは幅広いアプリケーションにまたがる強力なツールとして登場したが、内部の動作は部分的にしか理解されていない。 大量のトークン – 注目シンクとして機能する極めて高いアクティベーション規範を持つトークン – と,推論中に副産物として現れるアーティファクトトークン – の現象について検討する。 我々は、線形時間と空間における自己注意を近似する訓練不要なFast Nystr"om Attention (FNA)を導入する。
  論文  参考訳（メタデータ） (2025-07-21T19:29:03Z)
• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference [3.9464481148889354]
  我々は,グローバルな視点からトークンプルーニングにアプローチする,トレーニングフリーのプラグアンドプレイフレームワークSTAR(Stage-wise Attention-guided token Reduction)を提案する。 単一ポイントでプルーニングする代わりに、STARは視覚的自己注意に基づく早期プルーニングで冗長な低レベル特徴を除去し、タスク非関連トークンを捨てるために、クロスモーダルな注意でガイドされる後期プルーニングという2つの相補的な段階において注意誘導還元を行う。
  論文  参考訳（メタデータ） (2025-05-18T10:44:45Z)
• Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
  ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。 既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。 LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
  論文  参考訳（メタデータ） (2025-05-17T10:22:29Z)
• AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference [11.73134417321505]
  本稿では,LVLM推論の高速化を目的とした新しいKVキャッシュ圧縮手法であるAirCacheを提案する。 本手法は,視覚的KVキャッシュの10%を保ちながら,フルキャッシュに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-03-31T11:13:18Z)
• TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
  高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。 我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
  論文  参考訳（メタデータ） (2025-03-24T01:47:26Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。