論文の概要: IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision Transformers

• arxiv url: http://arxiv.org/abs/2106.12620v1
• Date: Wed, 23 Jun 2021 18:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 15:09:27.640422
• Title: IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision Transformers
• Title（参考訳）: IA-RED$^2$:視覚変換器の解釈可能性を考慮した冗長性低減
• Authors: Bowen Pan, Yifan Jiang, Rameswar Panda, Zhangyang Wang, Rogerio Feris, Aude Oliva
• Abstract要約: 自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。 解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。 画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
• 参考スコア（独自算出の注目度）: 81.31885548824926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The self-attention-based model, transformer, is recently becoming the leading backbone in the field of computer vision. In spite of the impressive success made by transformers in a variety of vision tasks, it still suffers from heavy computation and intensive memory cost. To address this limitation, this paper presents an Interpretability-Aware REDundancy REDuction framework (IA-RED$^2$). We start by observing a large amount of redundant computation, mainly spent on uncorrelated input patches, and then introduce an interpretable module to dynamically and gracefully drop these redundant patches. This novel framework is then extended to a hierarchical structure, where uncorrelated tokens at different stages are gradually removed, resulting in a considerable shrinkage of computational cost. We include extensive experiments on both image and video tasks, where our method could deliver up to 1.4X speed-up for state-of-the-art models like DeiT and TimeSformer, by only sacrificing less than 0.7% accuracy. More importantly, contrary to other acceleration approaches, our method is inherently interpretable with substantial visual evidence, making vision transformer closer to a more human-understandable architecture while being lighter. We demonstrate that the interpretability that naturally emerged in our framework can outperform the raw attention learned by the original visual transformer, as well as those generated by off-the-shelf interpretation methods, with both qualitative and quantitative results. Project Page: http://people.csail.mit.edu/bpan/ia-red/.
• Abstract（参考訳）: 自己注意型モデルであるTransformerは最近、コンピュータビジョン分野における主要なバックボーンになりつつある。 様々なビジョンタスクでトランスフォーマーが素晴らしい成功をおさめたにもかかわらず、計算量と集中的なメモリコストに苦しめられている。 本稿では,この制限に対処するため,解釈可能性を考慮したredundancy REDuction framework(IA-RED$^2$)を提案する。 まず,非相関な入力パッチに主に費やされる大量の冗長な計算を観察し,その冗長なパッチを動的かつ優雅に削除するための解釈可能なモジュールを導入する。 この新たなフレームワークは階層構造に拡張され、異なるステージで無相関なトークンが徐々に削除され、計算コストが大幅に削減される。 DeiTやTimeSformerのような最先端モデルの1.4倍のスピードアップを実現するために、画像タスクとビデオタスクの両方で広範な実験を行いました。 さらに重要なことは、他の加速手法とは対照的に、我々の手法は本質的にかなりの視覚的証拠で解釈可能であり、より軽量でありながら、より人間に理解可能なアーキテクチャに近づきます。 筆者らは,本フレームワークで自然に現れる解釈可能性について,本来の視覚変換器で学習した生の注意力,および既成の解釈法で生成されたものより質的かつ定量的な結果よりも優れていることを示した。 プロジェクトページ: http://people.csail.mit.edu/bpan/ia-red/

関連論文リスト

• X-Pruner: eXplainable Pruning for Vision Transformers [12.296223124178102]
  ビジョントランスモデルは通常、計算コストと重いメモリ要求に悩まされる。 近年の研究では、モデルの内部単位と対象クラスとの関係を概観する、説明不能な方法で変圧器をプーンする手法が提案されている。 X-Prunerと呼ばれる新しい説明可能なプルーニングフレームワークを提案し、プルーニング基準の説明可能性を考慮して設計する。
  論文  参考訳（メタデータ） (2023-03-08T23:10:18Z)
• Reversible Vision Transformers [74.3500977090597]
  Reversible Vision Transformersは、視覚認識のためのメモリ効率の良いアーキテクチャである。 我々は2つの人気モデル、すなわちビジョン変換器とマルチスケールビジョン変換器を可逆的変種に適用する。 より深いモデルでは、アクティベーションを再計算する際の計算負荷が過大評価されている。
  論文  参考訳（メタデータ） (2023-02-09T18:59:54Z)
• Learning to Merge Tokens in Vision Transformers [22.029357721814044]
  PatchMergerは、ネットワークが処理しなければならないパッチやトークンの数を減らすために、2つの連続する中間層間でそれらをマージするモジュールです。 PatchMergerは、様々なモデルサイズで大幅な高速化を実現し、微調整後、元の性能を上流と下流の両方に適合させることを示した。
  論文  参考訳（メタデータ） (2022-02-24T10:56:17Z)
• Learned Queries for Efficient Local Attention [11.123272845092611]
  視覚変換器の自己保持機構は、高レイテンシと非効率なメモリ利用に悩まされる。 本稿では,クエリ・アンド・アテンション(QnA)と呼ばれる,新たなシフト不変なローカルアテンション層を提案する。 我々は、最先端モデルと同等の精度を達成しつつ、スピードとメモリの複雑さの改善を示す。
  論文  参考訳（メタデータ） (2021-12-21T18:52:33Z)
• AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
  AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。 本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
  論文  参考訳（メタデータ） (2021-11-30T18:57:02Z)
• Patch Slimming for Efficient Vision Transformers [107.21146699082819]
  与えられたネットワーク上で冗長な計算を行うことにより,視覚変換器の効率性について検討する。 我々は、トップダウンパラダイムで無駄なパッチを捨てる、新しいパッチスリム化アプローチを提案する。 ベンチマークによる実験結果から,提案手法は視覚変換器の計算コストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-05T09:46:00Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。