論文の概要: DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification

• arxiv url: http://arxiv.org/abs/2106.02034v1
• Date: Thu, 3 Jun 2021 17:57:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:24:21.165482
• Title: DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification
• Title（参考訳）: dynamicvit:動的トークンスパーシフィケーションを用いた効率的な視覚トランスフォーマ
• Authors: Yongming Rao, Wenliang Zhao, Benlin Liu, Jiwen Lu, Jie Zhou, Cho-Jui Hsieh
• Abstract要約: 入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
• 参考スコア（独自算出の注目度）: 134.9393799043401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention is sparse in vision transformers. We observe the final prediction in vision transformers is only based on a subset of most informative tokens, which is sufficient for accurate image recognition. Based on this observation, we propose a dynamic token sparsification framework to prune redundant tokens progressively and dynamically based on the input. Specifically, we devise a lightweight prediction module to estimate the importance score of each token given the current features. The module is added to different layers to prune redundant tokens hierarchically. To optimize the prediction module in an end-to-end manner, we propose an attention masking strategy to differentiably prune a token by blocking its interactions with other tokens. Benefiting from the nature of self-attention, the unstructured sparse tokens are still hardware friendly, which makes our framework easy to achieve actual speed-up. By hierarchically pruning 66% of the input tokens, our method greatly reduces 31%~37% FLOPs and improves the throughput by over 40% while the drop of accuracy is within 0.5% for various vision transformers. Equipped with the dynamic token sparsification framework, DynamicViT models can achieve very competitive complexity/accuracy trade-offs compared to state-of-the-art CNNs and vision transformers on ImageNet. Code is available at https://github.com/raoyongming/DynamicViT
• Abstract（参考訳）: 視覚トランスフォーマーは注意をそらしている。 視覚変換器の最終的な予測は、最も情報性の高いトークンのサブセットのみに基づいており、正確な画像認識には十分である。 本研究では,入力に基づいて冗長トークンを段階的かつ動的にプルする動的トークンスパーシフィケーションフレームワークを提案する。 具体的には、現在の特徴から各トークンの重要度を推定する軽量な予測モジュールを考案する。 モジュールは異なるレイヤに追加され、冗長トークンを階層的にプルークする。 予測モジュールをエンド・ツー・エンドで最適化するために,他のトークンとの相互作用をブロックし,トークンを識別的にプーンするアテンションマスキング戦略を提案する。 自己注意の性質から見れば、非構造化のスパーストークンは依然としてハードウェアフレンドリなので、私たちのフレームワークは実際のスピードアップを容易に実現できます。 入力トークンの66%を階層的にプルーニングすることにより、31%〜37%のFLOPを大幅に削減し、スループットを40%以上向上する一方、精度の低下は様々な視覚変換器の0.5%以内である。 動的トークンスペーシフィケーションフレームワークを備えたDynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性と精度のトレードオフを実現することができる。 コードはhttps://github.com/raoyongming/DynamicViTで入手できる。

関連論文リスト

• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)
• Bridging The Gaps Between Token Pruning and Full Pre-training via Masked Fine-tuning [19.391064062033436]
  動的視覚変換器はトークンを冗長にプルーニングすることで推論を加速するために使用される。 現在のベースモデルは、通常フルイメージトレーニングを採用し、フルイメージを入力として使用し、フィーチャーマップ全体をフォワードプロセスを通して保持する。 マスクと自己教師付きタスクを行うMAEにインスパイアされた我々は、事前訓練されたベースモデルとトークンプルーニングに基づく動的視覚変換器のギャップを埋めるために、マスク付き微調整を考案した。
  論文  参考訳（メタデータ） (2023-10-26T06:03:18Z)
• Dynamic Token-Pass Transformers for Semantic Segmentation [22.673910995773262]
  セマンティックセグメンテーションのための動的トークン・パス・ビジョン・トランスフォーマー(DoViT)を導入する。 DoViTは、部分的に簡単なトークンを自己注意計算から徐々に停止させ、停止基準を満たすまでハードトークンを前進させ続ける。 提案手法は, 約40%$sim$ 60% FLOPsを低減し, mIoUの低下は, 各種セグメンテーション変圧器の0.8%以内である。
  論文  参考訳（メタデータ） (2023-08-03T06:14:24Z)
• CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
  本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T03:19:18Z)
• Making Vision Transformers Efficient from A Token Sparsification View [26.42498120556985]
  本稿では,グローバル・ローカル・ビジョン・トランスフォーマのための新しいセマンティック・トークンViT(STViT)を提案する。 提案手法は,対象検出やインスタンスセグメンテーションにおける元のネットワークと比較して,30%以上のFLOPを削減できる。 さらに,STViTに基づいて詳細な空間情報を復元するためのSTViT-R(ecover)ネットワークを設計し,下流タスクに有効である。
  論文  参考訳（メタデータ） (2023-03-15T15:12:36Z)
• Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks [88.77951448313486]
  視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。 本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。 提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T17:00:51Z)
• Attribute Surrogates Learning and Spectral Tokens Pooling in Transformers for Few-shot Learning [50.95116994162883]
  ビジョントランスフォーマーは、視覚認識のための畳み込みニューラルネットワークに代わる有望な選択肢だと考えられている。 本稿では,スペクトルトークンプールによる固有画像構造を利用した階層的カスケード変換器を提案する。 HCTransformersはDINOベースラインを9.7%の5ウェイの1ショット精度と9.17%の5ウェイの5ショット精度で上回っている。
  論文  参考訳（メタデータ） (2022-03-17T03:49:58Z)
• Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer [63.99222215387881]
  本稿では,視覚変換器の自己モチベーションの遅いトークン進化手法であるEvo-ViTを提案する。 本手法は,画像分類において同等の性能を維持しつつ,視覚変換器の計算コストを大幅に削減することができる。
  論文  参考訳（メタデータ） (2021-08-03T09:56:07Z)
• Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length [40.35853878334764]
  視覚変換器(ViT)は大規模画像認識において顕著な成功を収めた。 精度と速度の適切なトレードオフを達成するため、トークンの数は16x16に実証的に設定される。 入力画像ごとに適切な数のトークンを自動的に設定する動的変換器を提案する。
  論文  参考訳（メタデータ） (2021-05-31T16:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。