論文の概要: Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration

• arxiv url: http://arxiv.org/abs/2412.13180v1
• Date: Tue, 17 Dec 2024 18:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:20.055608
• Title: Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration
• Title（参考訳）: スロットル:視覚言語モデルアクセラレーションのための視覚的トーケンプルーニングの再検討
• Authors: Mark Endo, Xiaohan Wang, Serena Yeung-Levy,
• Abstract要約: 言語モデル内の視覚トークンの早期プルーニングにおけるアクセラレーション手法について検討する。 多くのタスクにまたがる強力なパフォーマンスは、視覚情報を圧縮する異常な能力によるものではなく、よりきめ細かい視覚能力を評価するためのベンチマークの限られた能力によるものである。 FEATHERは,初期階層の刈り込みによる識別問題を解決するための簡単な手法である。
• 参考スコア（独自算出の注目度）: 19.683461002518147
• License:
• Abstract: Recent works on accelerating Vision-Language Models show that strong performance can be maintained across a variety of vision-language tasks despite highly compressing visual information. In this work, we examine the popular acceleration approach of early pruning of visual tokens inside the language model and find that its strong performance across many tasks is not due to an exceptional ability to compress visual information, but rather the benchmarks' limited ability to assess fine-grained visual capabilities. Namely, we demonstrate a core issue with the acceleration approach where most tokens towards the top of the image are pruned away. Yet, this issue is only reflected in performance for a small subset of tasks such as localization. For the other evaluated tasks, strong performance is maintained with the flawed pruning strategy. Noting the limited visual capabilities of the studied acceleration technique, we propose FEATHER (Fast and Effective Acceleration wiTH Ensemble cRiteria), a straightforward approach that (1) resolves the identified issue with early-layer pruning, (2) incorporates uniform sampling to ensure coverage across all image regions, and (3) applies pruning in two stages to allow the criteria to become more effective at a later layer while still achieving significant speedup through early-layer pruning. With comparable computational savings, we find that FEATHER has more than $5\times$ performance improvement on the vision-centric localization benchmarks compared to the original acceleration approach.
• Abstract（参考訳）: 近年のビジョン・ランゲージ・モデルの高速化研究は、高度に圧縮された視覚情報にもかかわらず、様々な視覚言語タスクで高い性能を維持することができることを示している。 本研究では,言語モデル内で視覚トークンを早期にプルーニングする一般的な高速化手法について検討し,その多くのタスクにまたがる強力な性能は,視覚情報を圧縮する異常な能力ではなく,きめ細かい視覚能力を評価するためのベンチマークの限られた能力によるものであることを示す。 すなわち、画像の上部へのほとんどのトークンが取り除かれてしまうアクセラレーションアプローチにおいて、核となる問題を示す。 しかし、この問題はローカライゼーションのようなタスクの小さなサブセットのパフォーマンスにのみ反映されている。 他の評価タスクでは、プルーニング戦略の欠陥により、強いパフォーマンスが維持される。 そこで本研究では,(1)初期層プルーニングによる特定問題を解決するための簡単なアプローチであるFEATHER(Fast and Effective Acceleration with Ensemble cRiteria)を提案する。 FEATHERは、従来の加速度法と比較して、視覚中心のローカライゼーションベンチマークのパフォーマンスが5ドル以上向上していることがわかった。

関連論文リスト

• FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression [45.37530855889661]
  高解像度画像は、多モード大言語モデルに入力される視覚トークンの数を2次的に増加させる。 現在の研究は、しばしば性能を犠牲にして、効率を改善するために視覚的トークン圧縮法を開発している。 情報密度の低い冗長領域を圧縮する視覚誘導型サンプルラと、ユーザ指示と強く相関する視覚トークンを選択するテキスト誘導型サンプルラとを用いて、粗大な視覚トークン圧縮法を構築する。
  論文  参考訳（メタデータ） (2024-11-21T15:37:52Z)
• Exploring the Zero-Shot Capabilities of Vision-Language Models for Improving Gaze Following [10.91834567383105]
  人のポーズやオブジェクトとのインタラクションに関連する文脈的手がかりは、フォローする人を見つめるための貴重な情報を提供することができる。 視覚言語モデル (VLM) を用いて, 視覚の視線改善のために, 広範囲の文脈的手がかりを抽出し, 視線改善を行う。 画像全体と、対象人物の周りに描かれた楕円を併用することが、視覚的プロンプトの最も効果的な戦略である。
  論文  参考訳（メタデータ） (2024-06-06T09:41:39Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• No More Shortcuts: Realizing the Potential of Temporal Self-Supervision [69.59938105887538]
  本稿では、フレームレベルの認識タスクではなく、フレームレベルの認識タスクとして、時間的自己監督のより困難な再構築を提案する。 我々は、より困難なフレームレベルのタスクの定式化とショートカットの削除が、時間的自己監督によって学習された特徴の質を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-12-20T13:20:31Z)
• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)
• BUS:Efficient and Effective Vision-language Pre-training with Bottom-Up Patch Summarization [89.52943129132217]
  本稿では,BUS という名前のボトムアップ・パッチ・サマリゼーション手法を提案し,視覚的トークン列の簡潔な要約を効率的に学習する。 テキスト・セマンティックス・アウェア・パッチセレクタ(TSPS)をViTバックボーンに組み込んで粗い粒度のビジュアルトークン抽出を行う。 このボトムアップコラボレーションによって、BUSは高いトレーニング効率を得られると同時に、効率性を維持したり、改善したりすることができます。
  論文  参考訳（メタデータ） (2023-07-17T14:08:17Z)
• Fine-Grained Visual Prompting [35.032567257651515]
  Fine-Grained Visual Prompting (FGVP) は参照表現のゼロショット理解において優れた性能を示す。 RefCOCO+ testAサブセットで最大12.5%改善され、平均マージンが3.0%から4.6%向上した。
  論文  参考訳（メタデータ） (2023-06-07T11:39:56Z)
• SmartTrim: Adaptive Tokens and Attention Pruning for Efficient Vision-Language Models [35.5601603013045]
  視覚言語モデル(VLM)のための適応加速度フレームワークであるSmartTrimを提案する。 軽量なモジュールを元のバックボーンに統合し、各レイヤ内で冗長なトークン表現とアテンションヘッドを特定し、実行します。 我々は,プレナードモデルの予測と完全容量との整合性を高めるための自己蒸留戦略を考案した。
  論文  参考訳（メタデータ） (2023-05-24T11:18:00Z)
• Effective End-to-End Vision Language Pretraining with Semantic Visual Loss [58.642954383282216]
  現在の視覚言語事前学習モデルは、物体検出器から抽出された領域視覚特徴を用いた手法によって支配されている。 3種類の視覚的損失を導入し、より高速な収束と微調整精度の向上を実現した。 リージョン機能モデルと比較して、私たちのエンドツーエンドモデルは、下流タスクで同様のあるいはより良いパフォーマンスを実現し、推論中に10倍以上高速に動作します。
  論文  参考訳（メタデータ） (2023-01-18T00:22:49Z)
• VOLO: Vision Outlooker for Visual Recognition [148.12522298731807]
  視覚変換器 (ViT) はイメージネット分類において自己注意に基づくモデルの可能性を示している。 我々は、新しい展望の展望を導入し、VoLO(Vision Outlooker)と呼ばれる、シンプルで一般的なアーキテクチャを提示する。 グローバルな依存性モデリングを粗いレベルで重視する自己注意とは異なり、展望はより詳細な機能やコンテキストをトークンに効率的にエンコードする。 実験の結果、私たちのVOLOはImageNet-1K分類で87.1%のトップ1の精度を達成しており、これはこの競合ベンチマークで87%以上の精度で最初のモデルである。
  論文  参考訳（メタデータ） (2021-06-24T15:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。