論文の概要: SmartTrim: Adaptive Tokens and Parameters Pruning for Efficient
Vision-Language Models
- arxiv url: http://arxiv.org/abs/2305.15033v1
- Date: Wed, 24 May 2023 11:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 16:37:06.767302
- Title: SmartTrim: Adaptive Tokens and Parameters Pruning for Efficient
Vision-Language Models
- Title（参考訳）: SmartTrim: 効率的なビジョンランゲージモデルのための適応トークンとパラメータプランニング
- Authors: Zekun Wang, Jingchang Chen, Wangchunshu Zhou, Ming Liu, Bing Qin
- Abstract要約: トランスフォーマーベースの事前訓練された視覚言語モデル(VLM)は、長い入力と多くのパラメータから生じる効率の問題に悩まされている。
本稿では,VLMにおけるSmartTrimを適応的に高速化する手法を提案する。
- 参考スコア（独自算出の注目度）: 25.350992369300418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite achieving remarkable performance on various vision-language tasks,
Transformer-based pretrained vision-language models (VLMs) still suffer from
efficiency issues arising from long inputs and numerous parameters, limiting
their real-world applications. However, the huge computation is redundant for
most samples and the degree of redundancy and the respective components vary
significantly depending on tasks and input instances. In this work, we propose
an adaptive acceleration method SmartTrim for VLMs, which adjusts the inference
overhead based on the complexity of instances. Specifically, SmartTrim
incorporates lightweight trimming modules into the backbone to perform
task-specific pruning on redundant inputs and parameters, without the need for
additional pre-training or data augmentation. Since visual and textual
representations complement each other in VLMs, we propose to leverage
cross-modal interaction information to provide more critical semantic guidance
for identifying redundant parts. Meanwhile, we introduce a self-distillation
strategy that encourages the trimmed model to be consistent with the
full-capacity model, which yields further performance gains. Experimental
results demonstrate that SmartTrim significantly reduces the computation
overhead (2-3 times) of various VLMs with comparable performance (only a 1-2%
degradation) on various vision-language tasks. Compared to previous
acceleration methods, SmartTrim attains a better efficiency-performance
trade-off, demonstrating great potential for application in
resource-constrained scenarios.
- Abstract（参考訳）: 様々な視覚言語タスクにおける顕著な性能にもかかわらず、トランスフォーマーベースの事前訓練された視覚言語モデル(VLM)は、長い入力と多数のパラメータから生じる効率の問題に悩まされ、現実の応用が制限されている。
しかし、ほとんどのサンプルでは巨大な計算は冗長であり、冗長性の程度と各コンポーネントはタスクや入力インスタンスによって大きく異なる。
そこで本研究では,VLMのための適応加速度法SmartTrimを提案する。
具体的には、SmartTrimは軽量トリミングモジュールをバックボーンに組み込んで、追加の事前トレーニングやデータ拡張を必要とせずに、冗長な入力とパラメータでタスク固有のプルーニングを実行する。
視覚表現とテキスト表現はvlmで相互補完するので,クロスモーダルなインタラクション情報を利用して冗長な部分を特定するためのより重要な意味的ガイダンスを提供する。
一方,本研究では,トリミングモデルとフル容量モデルとの整合性を奨励し,さらなる性能向上をもたらす自己蒸留戦略を導入する。
実験結果から,SmartTrimは視覚言語タスクにおいて,VLMの計算オーバーヘッド(2～3倍)を大幅に低減し,その性能は1～2%しか低下しないことがわかった。
従来のアクセラレーション手法と比較して、SmartTrimはより良い効率と性能のトレードオフを実現し、リソース制約のあるシナリオに適用する可能性を示している。
関連論文リスト
- ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。
我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
論文 参考訳（メタデータ） (2024-10-23T11:31:06Z) - EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。
EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-02T23:00:31Z) - Exploring Token Pruning in Vision State Space Models [38.122017567843905]
状態空間モデル(SSM)は、変圧器の注意モジュールと比較して線形計算の複雑さを維持する利点がある。
我々はトークンベースのプルーニングにより、SSMベースの視覚モデルの効率を向上する新たなステップを採っている。
刈り取られたPlainMamba-L3のFLOPを41.6%削減して、ImageNetの81.7%の精度を実現した。
論文 参考訳（メタデータ） (2024-09-27T17:59:50Z) - Video Token Sparsification for Efficient Multimodal LLMs in Autonomous Driving [9.900979396513687]
MLLM(Multimodal large language model)は、自律運転システムにおけるシーン理解の促進に顕著な可能性を示している。
1つの大きな制限は、細粒度で長文の視覚情報を取得するのに必要な多数の視覚トークンから生じる。
本稿では,視覚トークンの総数を大幅に削減し,最も有能な情報を保存するためのビデオトークンスペーシフィケーション(VTS)を提案する。
論文 参考訳（メタデータ） (2024-09-16T05:31:01Z) - Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
SIMAは、自己改善を通じて視覚的および言語的モダリティアライメントを強化するフレームワークである。
コンテキスト内自己批判機構を使用して、プライオリティチューニングのためのレスポンスペアを選択する。
SIMAは従来の手法よりも優れたモダリティアライメントを実現することを実証する。
論文 参考訳（メタデータ） (2024-05-24T23:09:27Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-14T17:00:19Z) - Dynamic Spatial Sparsification for Efficient Vision Transformers and
Convolutional Neural Networks [88.77951448313486]
視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。
本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。
提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
論文 参考訳（メタデータ） (2022-07-04T17:00:51Z) - MIA-Former: Efficient and Robust Vision Transformers via Multi-grained
Input-Adaptation [14.866949449862226]
Vision Transformer (ViT) モデルは、現実のリソース制約されたデバイスに組み込むには計算コストがかかりすぎる。
入力適応型視覚変換フレームワークMIA-Formerを提案する。
提案するMIA-Formerフレームワークは,入力画像の難易度に適応した予算を効果的に配分できることを確認した。
論文 参考訳（メタデータ） (2021-12-21T22:06:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。