論文の概要: TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

• arxiv url: http://arxiv.org/abs/2507.20630v1
• Date: Mon, 28 Jul 2025 08:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.057843
• Title: TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model
• Title（参考訳）: TransPrune:高能率ビジョンランゲージモデルのためのトークン遷移プルーニング
• Authors: Ao Li, Yuxiang Duan, Jinghui Zhang, Congbo Ma, Yutong Xie, Gustavo Carneiro, Mohammad Yaqub, Hu Wang,
• Abstract要約: LVLM(Large Vision-Language Models)は、高度なマルチモーダル学習を持つが、多数の視覚トークンのために計算コストが高い。 トレーニング不要かつ効率的なトークンプルーニング手法であるTransPruneを提案する。
• 参考スコア（独自算出の注目度）: 18.541556978014764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) have advanced multimodal learning but face high computational costs due to the large number of visual tokens, motivating token pruning to improve inference efficiency. The key challenge lies in identifying which tokens are truly important. Most existing approaches rely on attention-based criteria to estimate token importance. However, they inherently suffer from certain limitations, such as positional bias. In this work, we explore a new perspective on token importance based on token transitions in LVLMs. We observe that the transition of token representations provides a meaningful signal of semantic information. Based on this insight, we propose TransPrune, a training-free and efficient token pruning method. Specifically, TransPrune progressively prunes tokens by assessing their importance through a combination of Token Transition Variation (TTV)-which measures changes in both the magnitude and direction of token representations-and Instruction-Guided Attention (IGA), which measures how strongly the instruction attends to image tokens via attention. Extensive experiments demonstrate that TransPrune achieves comparable multimodal performance to original LVLMs, such as LLaVA-v1.5 and LLaVA-Next, across eight benchmarks, while reducing inference TFLOPs by more than half. Moreover, TTV alone can serve as an effective criterion without relying on attention, achieving performance comparable to attention-based methods. The code will be made publicly available upon acceptance of the paper at https://github.com/liaolea/TransPrune.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、高度なマルチモーダル学習を持つが、多くの視覚トークンによって高い計算コストに直面し、推論効率を向上させるためにトークンプルーニングを動機付けている。 重要な課題は、どのトークンが本当に重要なのかを特定することです。 既存のアプローチのほとんどは、トークンの重要性を見積もるために注意ベースの基準に依存しています。 しかし、それらは本来、位置バイアスのような特定の制限に悩まされる。 本研究では,LVLMにおけるトークン遷移に基づくトークン重要度の新しい視点について検討する。 トークン表現の遷移は意味情報の有意義な信号を提供する。 この知見に基づいて,トレーニング不要かつ効率的なトークンプルーニング手法であるTransPruneを提案する。 特にTransPruneは、トークン表現の規模と方向の両方の変化を測定するToken Transition Variation(TTV)と、注意を通して画像トークンにどれほど強く出席するかを測定するInstruction-Guided Attention(IGA)を組み合わせることで、トークンの重要性を徐々に評価する。 大規模な実験により、TransPruneは8つのベンチマークでLLaVA-v1.5やLLaVA-NextのようなオリジナルのLVLMに匹敵するマルチモーダル性能を実現し、推論TFLOPを半分以上削減した。 さらに、TTVは注意を頼らずに効果的な基準として機能し、注意に基づく手法に匹敵する性能を達成することができる。 コードは、https://github.com/liaolea/TransPrune.comで論文の受理時に公開される。

関連論文リスト

• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。 提案手法は,複数の段階において重要なトークン選択と軽量なコンテキストマージを行い,攻撃的トークン予算の下でもきめ細かい視覚情報を保持できる。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• Multi-Cue Adaptive Visual Token Pruning for Large Vision-Language Models [85.51753014478315]
  本稿では,新しいプラグ・アンド・プレイ・トレーニングフリープルーニング手法であるAdaptPruneを紹介する。 空間距離とトークン類似性を適応的NMSアプローチと組み合わせることで、従来の注意に基づくプルーニングに基づいている。 当社のアプローチはトークンの重要性を総合的に評価することを保証するとともに,プルーニング決定を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-11T03:58:17Z)
• [CLS] Token Tells Everything Needed for Training-free Efficient MLLMs [66.5266435598799]
  MLLM(Multi- Language Large Language Models)は、最近、広範囲の視覚タスクにおいて強力なパフォーマンスを示した。 しかし、その効率的なデプロイメントは、高い計算コストとメモリ要求のため、依然として大きな課題である。 本稿では,VTC圧縮という,列車不要の視覚圧縮のための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-12-08T05:29:39Z)
• FoPru: Focal Pruning for Efficient Large Vision-Language Models [11.36025001578531]
  本稿では、視覚エンコーダから導出される注目に基づくトークンの重要度に基づいて、視覚トークンを抽出する訓練不要なFocal Pruning(FoPru)を提案する。 提案手法は,高い精度を維持しつつ多数の冗長トークンを抽出し,推論効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-11-21T14:22:38Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation [37.72775203647514]
  本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。 視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
  論文  参考訳（メタデータ） (2024-05-16T03:26:06Z)
• Token-Label Alignment for Vision Transformers [93.58540411138164]
  データ混合戦略(例えば、CutMix)は、畳み込みニューラルネットワーク(CNN)の性能を大幅に改善する能力を示している。 我々は,データ混合戦略の可能性を抑制するトークン変動現象を同定する。 本稿では,各トークンのラベルを保持するために,変換されたトークンと元のトークンとの対応をトレースするトークンラベルアライメント(TL-Align)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:54:32Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。