Fugu-MT 論文翻訳(概要): SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models

論文の概要: SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models

arxiv url: http://arxiv.org/abs/2604.11530v1
Date: Mon, 13 Apr 2026 14:30:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-14 20:13:16.604683
Title: SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models
Title（参考訳）: SVD-Prune:効率的なビジョンランゲージモデルのためのトレーニング不要のトーケンプルーニング
Abstract要約: そこで本研究では,Singular Value Decompositionに基づく,学習不要でプラグアンドプレイのトークンプルーニング手法であるSVD-Pruneを提案する。ビジョントークンの特徴行列を分解し、統計レバレッジスコアを使用してトップKトークンを選択する。実験の結果、SVD-Prune は極端視覚トークンの予算下でのプルーニング手法よりも一貫して優れていた。
参考スコア（独自算出の注目度）: 0.6299766708197883
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-Language Models (VLM) have revolutionized multimodal learning by jointly processing visual and textual information. Yet, they face significant challenges due to the high computational and memory demands of processing long sequences of vision tokens. Many existing methods rely on local heuristics, such as attention scores or token norms. However, these criteria suffer from positional bias and information dispersion, limiting their ability to preserve essential content at high pruning ratios and leading to performance degradation on visually detailed images. To address these issues, we propose SVD-Prune, a trainingfree, plug-and-play token pruning method based on Singular Value Decomposition. It decomposes the vision token feature matrix and selects the top-K tokens using statistical leverage scores, ensuring only tokens contributing most to the dominant global variance are preserved. Experiments show that SVD-Prune consistently outperforms prior pruning methods under extreme vision token budgets, maintaining strong performance even with 32 and 16 vision tokens.
Abstract（参考訳）: VLM(Vision-Language Models)は、視覚情報とテキスト情報を共同処理することでマルチモーダル学習に革命をもたらした。しかし、彼らは視覚トークンの長いシーケンスを処理する際の高い計算とメモリ要求のために大きな課題に直面している。既存の多くの手法は、注意スコアやトークンノルムのような局所的なヒューリスティックに依存している。しかし、これらの基準は位置バイアスと情報分散に悩まされ、高いプルーニング比で本質的なコンテンツを保存できる能力が制限され、視覚的詳細画像のパフォーマンス低下につながる。これらの問題に対処するために,Singular Value Decompositionに基づく,トレーニング不要でプラグアンドプレイのトークンプルニング手法であるSVD-Pruneを提案する。視覚トークンの特徴行列を分解し、統計レバレッジスコアを使用してトップKトークンを選択する。実験により、SVD-Pruneは、32と16の視覚トークンでも高い性能を維持しながら、極度の視覚トークン予算の下で、先行プルーニング手法よりも一貫して優れていた。

関連論文リスト

EvoCut: Multi-Layer Evolution-Aware Visual Token Compression for Efficient Large Vision-Language Models [22.359120747133414]
多層展開偏差からトークンの重要度を推定する視覚的トークン圧縮法を提案する。 EvoCutは平均的なパフォーマンスの94.4%を維持しながら、LLaVA-1.5-7B上の視覚トークンの11.1%しか保持できない。
論文参考訳（メタデータ） (2026-06-01T06:21:28Z)
AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference [7.243327337529763]
Vision-Language Models (VLM) は、比較的少数のテキストトークンとともに、画像ごとに数千のビジュアルトークンを処理する。本稿では,前処理前の視覚トークンにアグレッシブプルーニングを適用したAsymVLMを提案する。実験の結果,AsymVLMは最先端手法のうち,最大54%のFLOPを節約できることがわかった。
論文参考訳（メタデータ） (2026-05-28T07:49:45Z)
ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文参考訳（メタデータ） (2025-10-20T06:18:47Z)
Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
論文参考訳（メタデータ） (2025-10-03T11:33:40Z)
CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
論文参考訳（メタデータ） (2025-08-24T07:47:00Z)
TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model [18.541556978014764]
LVLM(Large Vision-Language Models)は、高度なマルチモーダル学習を持つが、多数の視覚トークンのために計算コストが高い。トレーニング不要かつ効率的なトークンプルーニング手法であるTransPruneを提案する。
論文参考訳（メタデータ） (2025-07-28T08:44:58Z)
VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning [95.89543460132413]
視覚言語モデル(VLM)は、視覚トークンの数を増やすことで性能を改善した。しかし、現実世界のシナリオの多くは、このような膨大な数の視覚トークンを必要としない。視覚的トークン圧縮(VisionThink)のための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2025-07-17T17:59:55Z)
Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
論文参考訳（メタデータ） (2025-06-27T14:55:40Z)
TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
論文参考訳（メタデータ） (2025-03-24T01:47:26Z)
Multi-Cue Adaptive Visual Token Pruning for Large Vision-Language Models [85.51753014478315]
本稿では,新しいプラグ・アンド・プレイ・トレーニングフリープルーニング手法であるAdaptPruneを紹介する。空間距離とトークン類似性を適応的NMSアプローチと組み合わせることで、従来の注意に基づくプルーニングに基づいている。当社のアプローチはトークンの重要性を総合的に評価することを保証するとともに,プルーニング決定を大幅に改善する。
論文参考訳（メタデータ） (2025-03-11T03:58:17Z)
Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
論文参考訳（メタデータ） (2024-11-05T18:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。