論文の概要: Revisiting Token Pruning for Object Detection and Instance Segmentation
- arxiv url: http://arxiv.org/abs/2306.07050v3
- Date: Tue, 12 Dec 2023 23:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 20:54:07.779736
- Title: Revisiting Token Pruning for Object Detection and Instance Segmentation
- Title(参考訳): オブジェクト検出とインスタンスセグメンテーションのための再訪トークンプルーニング
- Authors: Yifei Liu, Mathias Gehrig, Nico Messikommer, Marco Cannici, Davide
Scaramuzza
- Abstract要約: オブジェクトとインスタンスのセグメンテーションの推論を高速化するトークンプルーニングについて検討する。
従来のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下した。
- 参考スコア(独自算出の注目度): 25.3324628669201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformers (ViTs) have shown impressive performance in computer
vision, but their high computational cost, quadratic in the number of tokens,
limits their adoption in computation-constrained applications. However, this
large number of tokens may not be necessary, as not all tokens are equally
important. In this paper, we investigate token pruning to accelerate inference
for object detection and instance segmentation, extending prior works from
image classification. Through extensive experiments, we offer four insights for
dense tasks: (i) tokens should not be completely pruned and discarded, but
rather preserved in the feature maps for later use. (ii) reactivating
previously pruned tokens can further enhance model performance. (iii) a dynamic
pruning rate based on images is better than a fixed pruning rate. (iv) a
lightweight, 2-layer MLP can effectively prune tokens, achieving accuracy
comparable with complex gating networks with a simpler design. We assess the
effects of these design decisions on the COCO dataset and introduce an approach
that incorporates these findings, showing a reduction in performance decline
from ~1.5 mAP to ~0.3 mAP in both boxes and masks, compared to existing token
pruning methods. In relation to the dense counterpart that utilizes all tokens,
our method realizes an increase in inference speed, achieving up to 34% faster
performance for the entire network and 46% for the backbone.
- Abstract(参考訳): ビジョントランスフォーマー(vits)はコンピュータビジョンにおいて印象的な性能を示しているが、その高い計算コスト(トークン数の二乗)は、計算制約付きアプリケーションにおける採用を制限している。
しかし、全てのトークンが等しく重要であるわけではないため、この大量のトークンは必要ないかもしれない。
本稿では,オブジェクト検出とインスタンスセグメンテーションの推論を高速化するトークンプルーニングについて検討し,画像分類から先行研究を拡張した。
広範な実験を通じて、我々は高密度なタスクに対する4つの洞察を提供する。
(i)トークンは完全に刈り取られて廃棄されるのではなく、機能マップに保存して後で使用する。
(ii) 前処理したトークンの再活性化により,モデル性能がさらに向上する。
(iii)画像に基づく動的刈り込み速度は固定刈り出し速度より優れている。
(iv)軽量2層MLPはトークンを効果的にプーンし、より単純な設計で複雑なゲーティングネットワークに匹敵する精度を実現する。
我々は,これらの設計決定がCOCOデータセットに与える影響を評価し,既存のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下したことを示すアプローチを導入する。
提案手法は,すべてのトークンを利用する密接なトークンに対して,推論速度の向上を実現し,ネットワーク全体のパフォーマンスを最大34%高速化し,バックボーンを46%高速化する。
関連論文リスト
- Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose
Estimation [77.68599742038455]
本稿では,Hourglass Tokenizer (HoT) と呼ばれる,効率的なトランスフォーマーに基づく3次元ポーズ推定のためのプラグアンドプレイプルーニング・リカバリフレームワークを提案する。
私たちのHoTは、冗長なフレームのポーズトークンのプルーニングから始まり、フル長のトークンを復元することで終了し、中間トランスフォーマーブロックでいくつかのポーズトークンが生成される。
提案手法は,従来のVPTモデルと比較して高い効率性と推定精度を両立させることができる。
論文 参考訳(メタデータ) (2023-11-20T18:59:51Z) - AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。
本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。
提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
論文 参考訳(メタデータ) (2023-11-02T12:48:43Z) - Multi-Scale And Token Mergence: Make Your ViT More Efficient [3.087140219508349]
Vision Transformer (ViT) はコンピュータビジョン領域において一般的なモデルとして登場した。
より重要なトークンとマージすることで,非機密トークンからの情報を保持できる新しいトークンプルーニング手法を提案する。
提案手法は,DeiT-Sの精度は0.1%しか低下せず,計算コストの33%の大幅な削減を実現している。
論文 参考訳(メタデータ) (2023-06-08T02:58:15Z) - CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。
私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。
実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
論文 参考訳(メタデータ) (2023-05-17T03:19:18Z) - Joint Token Pruning and Squeezing Towards More Aggressive Compression of
Vision Transformers [2.0442992958844517]
視覚変換器を高効率で圧縮するための新しいTPS(Token Pruning & Squeezing Module)を提案する。
TPSは、プルーニングされたトークンの情報を、一方向近傍のマッチングと類似性に基づく融合ステップを介して、部分的な予約トークンに絞り込む。
提案手法は,DeiT-tinyを超えるスループットを向上し,精度はDeiT-tinyより4.78%向上する。
論文 参考訳(メタデータ) (2023-04-21T02:59:30Z) - Sparsifiner: Learning Sparse Instance-Dependent Attention for Efficient
Vision Transformers [34.19166698049552]
ビジョントランスフォーマー(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、パフォーマンス面での競争上の優位性を示している。
本稿では、軽量接続予測モジュールを考案し、インスタンス依存の注意パターンを学習するための新しいアプローチを提案する。
その結果,MHSAでは48%から69%のFLOPが減少し,精度は0.4%に低下した。
論文 参考訳(メタデータ) (2023-03-24T02:12:28Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image
Segmentation [98.90623605283564]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳(メタデータ) (2022-12-08T18:59:57Z) - Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully
Exploiting Self-Attention [36.90363317158731]
最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。
提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
論文 参考訳(メタデータ) (2022-09-28T03:07:32Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳(メタデータ) (2022-07-31T21:39:15Z) - DynamicViT: Efficient Vision Transformers with Dynamic Token
Sparsification [134.9393799043401]
入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。
入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。
DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
論文 参考訳(メタデータ) (2021-06-03T17:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。