論文の概要: Collaborative Multi-Mode Pruning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2604.02956v1
- Date: Fri, 03 Apr 2026 10:44:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.450898
- Title: Collaborative Multi-Mode Pruning for Vision-Language Models
- Title（参考訳）: 視覚言語モデルのための協調型マルチモードプルーニング
- Authors: Zimeng Wu, Yunhong Wang, Donghao Wang, Jiaxin Chen,
- Abstract要約: VLM(Vision-Language Models)は、統合トランスフォーマーアーキテクチャの中で急速に進歩しているが、リソース制約のあるデバイスへの展開は依然として困難である。
共同パラメータとトークンプルーニングによってVLMに適した新しいフレームワークであるCollaborative Multi-Mode Pruning (CoMP)を提案する。
提案手法は,最先端手法との比較により,高いプルーニング率下での性能を効果的に向上させる。
- 参考スコア（独自算出の注目度）: 31.988586741092927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) have advanced rapidly within the unified Transformer architecture, yet their deployment on resource-constrained devices remains challenging due to high computational complexity. While pruning has emerged as an effective technique for compressing VLMs, existing approaches predominantly focus on a single mode by pruning either parameters or tokens, neglecting fully exploring the inherent redundancy in each mode, which leads to substantial performance degradation at high pruning ratios. To address the above limitations, we propose Collaborative Multi-Mode Pruning (CoMP), a novel framework tailored for VLMs by performing joint parameter and token pruning. Specifically, we first design a Collaborative Importance Metric (CIM) that investigates the mutual interference between the coupled parameters and tokens. It incorporates distinct significance of tokens into the computation of parameter importance scores, while simultaneously mitigating the affect of pruned parameters on token importance scores. Moreover, we develop a Multi-Mode Pruning Strategy (MPS) that decomposes the overall pruning process into a sequence of pruning stages, while in each stage we estimate the priory of different pruning modes based on their pruning cost and adaptively shift to the optimal one. Additionally, MPS integrates the historical cost and random exploration, in order to achieve a stable pruning process and avoid local optimum. Extensive experiments across various vision-language tasks and models demonstrate that our method effectively promotes the performance under high pruning ratios by comparing to the state-of-the-art approaches. The source code is available at https://github.com/Wuzimeng/CoMP.git.
- Abstract（参考訳）: VLM(Vision-Language Models)は、統合トランスフォーマーアーキテクチャの中で急速に進歩しているが、高い計算複雑性のため、リソース制約のデバイスへの展開は困難である。
プルーニングはVLMを圧縮する有効な手法として現れてきたが、既存の手法ではパラメータやトークンをプルーニングすることで1つのモードに集中しており、各モードで固有の冗長性を十分に探究することはせず、高いプルーニング比で性能劣化をもたらす。
上記の制約に対処するため,共同パラメータとトークンプルーニングを実行することで,VLMに適した新しいフレームワークであるCollaborative Multi-Mode Pruning (CoMP)を提案する。
具体的には、結合されたパラメータとトークン間の相互干渉を調査するCIM(Collaborative Importance Metric)を最初に設計する。
トークンの明確な重要性をパラメータ重要度スコアの計算に取り入れ、同時にトークン重要度スコアに対するプルーニングパラメータの影響を緩和する。
さらに, マルチモード・プルーニング・ストラテジー (MPS) を開発し, 各段階において, プルーニングコストに基づいて異なるプルーニングモードの優先順位を推定し, 最適段階へ適応的にシフトする。
さらに、MPSは、安定した刈り込みプロセスを実現し、局所的な最適化を避けるために、歴史的コストとランダムな探索を統合している。
様々な視覚言語タスクやモデルに対する広範囲な実験により,本手法は最先端の手法と比較して,高い刈り取り率で性能を効果的に向上することを示した。
ソースコードはhttps://github.com/Wuzimeng/CoMP.gitで入手できる。
関連論文リスト
- HiAP: A Multi-Granular Stochastic Auto-Pruning Framework for Vision Transformers [3.644142828550762]
ビジョントランスフォーマーは計算資源とメモリ帯域幅を著しく制限し、エッジデバイスへの展開を著しく制限する。
単一エンドツーエンドのトレーニングフェーズにおいて最適なサブネットワークを探索する継続的緩和フレームワークである階層型オートプルーニング(HiAP)を提案する。
HiAPは大きな行列をロードするメモリバウンドオーバーヘッドと計算バウンドな数学的操作の両方に対処する。
論文 参考訳（メタデータ） (2026-03-12T17:45:38Z) - MMLoP: Multi-Modal Low-Rank Prompting for Efficient Vision-Language Adaptation [12.481603155570037]
textbfMMLoP (textbfMulti-textbfModal textbfLow-Rank textbfPrompting) を提案する。
論文 参考訳（メタデータ） (2026-02-24T22:00:34Z) - Sculpting the Vector Space: Towards Efficient Multi-Vector Visual Document Retrieval via Prune-then-Merge Framework [39.59931739606983]
Visual Document Retrieval (VDR) は、視覚的にリッチな膨大なコーパス内の関連ページを検索することを目的としている。
プルーニングやマージといった現在の効率性は不完全であり、圧縮率と特徴の忠実さのトレードオフが難しい。
本稿では,これらの相補的アプローチを相補する新しい2段階フレームワークPrune-then-Mergeを紹介する。
論文 参考訳（メタデータ） (2026-02-23T06:45:19Z) - Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。
本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
論文 参考訳（メタデータ） (2025-12-25T12:06:04Z) - Relation-Aware Bayesian Optimization of DBMS Configurations Guided by Affinity Scores [2.474203056060563]
データベース管理システム(DBMS)は,大規模および異種データの管理に基本的であり,その性能は構成パラメータの影響を強く受けている。
近年の研究では、機械学習を用いた自動構成最適化に焦点が当てられているが、既存のアプローチにはいくつかの重要な制限がある。
パラメータ依存をグラフとして表現する新しいフレームワークであるRelTuneを提案し,パフォーマンス関連セマンティクスを符号化したGNNベースの潜伏埋め込みを学習する。
論文 参考訳（メタデータ） (2025-10-31T03:46:42Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - MADTP: Multimodal Alignment-Guided Dynamic Token Pruning for
Accelerating Vision-Language Transformer [66.71930982549028]
VLT(Vision-Language Transformer)は近年大きな成功を収めている。
各種VLTの高速化を目的としたマルチモーダルアライメント誘導動的トーケンプルーニング(MADTP)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-05T14:13:50Z) - Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。
既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。
6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文 参考訳（メタデータ） (2023-05-15T06:40:56Z) - Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。
トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。
われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
論文 参考訳（メタデータ） (2021-11-23T11:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。