論文の概要: SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.03580v1
- Date: Tue, 04 Aug 2026 12:34:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.189962
- Title: SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models
- Title（参考訳）: SlimVLM: 効率的な視覚・言語モデルのための適応的視覚トークン選択による感性を考慮した動的構造化プルーニング
- Abstract要約: VLM(Vision-Language Models)は、テキストと画像の両方の処理と理解において顕著な性能を示している。
タスク性能を保ちながらVLMを圧縮する構造化プルーニングフレームワークであるSlimVLMを提案する。
- 参考スコア（独自算出の注目度）: 13.091215419258857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Vision-Language Models (VLMs) have demonstrated remarkable performance in processing and understanding both text and images, their large parameter sizes lead to significant computational overhead, limiting their deployment on resource-constrained devices. While pruning has been effective for compressing Large Language Models (LLMs), directly applying it to VLMs leads to significant performance drops, largely due to redundant visual tokens interfering with importance estimation. To this end, we propose SlimVLM, a structured pruning framework designed to compress VLMs while preserving their task performance. We introduce an adaptive visual token selection strategy for VLMs that leverages average text-to-visual attention scores to assess the importance of visual tokens, removing redundant ones during pruning based on a set threshold, thereby optimizing the importance calculation. Recognizing the varying tolerance to sparsity across different modules, we also propose a Sensitivity-aware dynamic pruning mechanism that determines the appropriate pruning ratio for each module by calculating the linear reconstruction error between the outputs of the pruned and unpruned modules, ensuring overall performance stability. Experimental results show that SlimVLM outperforms existing methods across multiple multimodal benchmarks, achieving state-of-the-art performance.
- Abstract（参考訳）: VLM(Vision-Language Models)は、テキストと画像の両方の処理と理解において顕著なパフォーマンスを示しているが、その大きなパラメータサイズは、リソースに制約のあるデバイスへのデプロイメントを制限する、計算上のオーバーヘッドを著しく高める。
プルーニングはLarge Language Models (LLMs) の圧縮に有効であるが、VLMに直接適用すると、主に重要度の推定に干渉する冗長な視覚トークンによって、大幅な性能低下につながる。
そこで本研究では,タスク性能を保ちながらVLMを圧縮する構造化プルーニングフレームワークであるSlimVLMを提案する。
本稿では,視覚的トークンの重要度を評価するために平均テキスト対視覚的注目スコアを利用するVLMに対して適応的な視覚的トークン選択戦略を導入し,設定閾値に基づいてプルーニング中に冗長なトークンを除去し,重要度計算を最適化する。
また,各モジュールの出力間の線形再構成誤差を計算し,全体的な性能安定性を確保することにより,各モジュールに対する適切なプルーニング比を決定する,感性を考慮した動的プルーニング機構を提案する。
実験の結果,SlimVLMは複数のマルチモーダルベンチマークで既存手法よりも優れ,最先端性能を実現していることがわかった。
関連論文リスト
- VisPCO: Visual Token Pruning Configuration Optimization via Budget-Aware Pareto-Frontier Learning for Vision-Language Models [74.05545957865228]
視覚言語モデル(VLM)における高解像度画像とビデオフレームの処理による2次計算成長を効果的に緩和する視覚トークンプルーニング法
パレート構成最適化問題として視覚トークンプルーニングを定式化して最適構成を自動的に識別する新しいフレームワークを提案する。
提案手法では, Augmented Lagrangian 法を用いて, 勾配に基づく探索を可能にするために, 連続緩和とストレートスルー推定を用いる。
論文 参考訳（メタデータ） (2026-04-16T16:21:05Z) - Learning What Matters: Dynamic Dimension Selection and Aggregation for Interpretable Vision-Language Reward Modeling [14.249938992666202]
VL-MDR(Vision-Language Multi-dimensional Reward)は、評価を粒度、解釈可能な次元に分解するフレームワークである。
これをサポートするために、21のきめ細かい次元にアノテートされた321kの視覚言語嗜好ペアのデータセットをキュレートする。
論文 参考訳（メタデータ） (2026-04-07T05:28:39Z) - Empirical Recipes for Efficient and Compact Vision-Language Models [54.92440500651415]
リソース制約のある設定における視覚言語モデル(VLM)は低レイテンシと高スループットを必要とする。
実験的なエンドツーエンドの効率分析と系統的なプロファイル推論を行い、主要なボトルネックを特定します。
精度を保ちながらレイテンシを大幅に低減する,コンパクトなVLMに適した最適化レシピを開発した。
論文 参考訳（メタデータ） (2026-03-17T17:17:40Z) - MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval [111.99106496142474]
Visual Document Retrieval (VDR)は、微細な視覚的詳細とグローバルな文書構造の両方をキャプチャする表現を必要とする。
既存のVDRモデルは、高解像度文書を処理する際に効率と効率のバランスをとるのに苦労する。
本稿では,X-VisEmbパラダイムを提案する。X-VisEmbパラダイムは,多分解能サンプリングと符号化から,粒度横断的特徴融合から適応的表現蒸留へと進展する。
論文 参考訳（メタデータ） (2026-03-07T15:17:22Z) - Input-Adaptive Visual Preprocessing for Efficient Fast Vision-Language Model Inference [2.8292841621378844]
本稿では,画像コンテンツ特性に基づいて,入力解像度と空間範囲を適応的に調整する視覚前処理手法を提案する。
提案手法は、コンテンツ認識画像解析、適応解像度選択、およびコンテンツ認識トリミングを組み合わせることで、視覚符号化前の視覚的冗長性を低減する。
実験結果から,適応的前処理は画像毎の推測時間を50%以上削減し,視覚トークン数の55%以上を連続的に減少させることがわかった。
論文 参考訳（メタデータ） (2025-12-23T23:30:56Z) - DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。
まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。
第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
論文 参考訳（メタデータ） (2025-04-23T18:38:18Z) - ContextFormer: Redefining Efficiency in Semantic Segmentation [48.81126061219231]
畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。
ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。
我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
論文 参考訳（メタデータ） (2025-01-31T16:11:04Z) - Selective State Space Memory for Large Vision-Language Models [0.0]
State Space Memory Integration (SSMI)は、LVLMの効率的な微調整のための新しいアプローチである。
SSMIは長距離依存関係をキャプチャし、タスク固有の視覚的およびシーケンシャルなパターンを効果的に注入する。
COCO Captioning、VQA、Flickr30kといったベンチマークデータセットの実験は、SSMIが最先端のパフォーマンスを達成することを実証している。
論文 参考訳（メタデータ） (2024-12-13T05:40:50Z) - Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。
マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。
HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
論文 参考訳（メタデータ） (2024-10-04T06:19:29Z) - SmartTrim: Adaptive Tokens and Attention Pruning for Efficient
Vision-Language Models [35.5601603013045]
視覚言語モデル(VLM)のための適応加速度フレームワークであるSmartTrimを提案する。
軽量なモジュールを元のバックボーンに統合し、各レイヤ内で冗長なトークン表現とアテンションヘッドを特定し、実行します。
我々は,プレナードモデルの予測と完全容量との整合性を高めるための自己蒸留戦略を考案した。
論文 参考訳（メタデータ） (2023-05-24T11:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。