論文の概要: Accelerating Vision Transformers Based on Heterogeneous Attention Patterns

• arxiv url: http://arxiv.org/abs/2310.07664v1
• Date: Wed, 11 Oct 2023 17:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 21:38:18.583989
• Title: Accelerating Vision Transformers Based on Heterogeneous Attention Patterns
• Title（参考訳）: 不均一注意パターンに基づく視覚変換器の高速化
• Authors: Deli Yu, Teng Xi, Jianwei Li, Baopu Li, Gang Zhang, Haocheng Feng, Junyu Han, Jingtuo Liu, Errui Ding, Jingdong Wang
• Abstract要約: ビジョントランスフォーマー(ViT)はコンピュータビジョンの分野で多くの注目を集めている。 層間における異種注意パターンの観測に基づく統合圧縮パイプラインを提案する。 実験的に、DGSSAとGLADの統合圧縮パイプラインは、最大121%のランタイムスループットを加速することができる。
• 参考スコア（独自算出の注目度）: 89.86293867174324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Vision Transformers (ViTs) have attracted a lot of attention in the field of computer vision. Generally, the powerful representative capacity of ViTs mainly benefits from the self-attention mechanism, which has a high computation complexity. To accelerate ViTs, we propose an integrated compression pipeline based on observed heterogeneous attention patterns across layers. On one hand, different images share more similar attention patterns in early layers than later layers, indicating that the dynamic query-by-key self-attention matrix may be replaced with a static self-attention matrix in early layers. Then, we propose a dynamic-guided static self-attention (DGSSA) method where the matrix inherits self-attention information from the replaced dynamic self-attention to effectively improve the feature representation ability of ViTs. On the other hand, the attention maps have more low-rank patterns, which reflect token redundancy, in later layers than early layers. In a view of linear dimension reduction, we further propose a method of global aggregation pyramid (GLAD) to reduce the number of tokens in later layers of ViTs, such as Deit. Experimentally, the integrated compression pipeline of DGSSA and GLAD can accelerate up to 121% run-time throughput compared with DeiT, which surpasses all SOTA approaches.
• Abstract（参考訳）: 近年、ビジョントランスフォーマー (ViT) はコンピュータビジョンの分野で多くの注目を集めている。 一般に、ViTの強力な代表能力は、計算の複雑さが高い自己認識機構の恩恵を受けている。 ViTを高速化するために,層間における異種注意パターンの観測に基づく統合圧縮パイプラインを提案する。 一方、異なる画像は初期の層よりも初期の層に類似した注意パターンを共有しており、動的クエリ・バイ・キー・セルフアテンション行列は初期の層で静的な自己アテンション行列に置き換えられる可能性があることを示している。 そこで本研究では,vitsの特徴表現能力を効果的に向上するために,置換された動的セルフアテンションから行列が自己アテンション情報を継承する動的誘導型静的自己アテンション(dgssa)法を提案する。 一方、アテンションマップは、初期層よりも後層においてトークンの冗長性を反映する低ランクパターンを持つ。 線形次元の低減の観点から,Deit などの後続の ViT 層におけるトークン数を削減するために,グローバルアグリゲーションピラミッド (GLAD) の手法を提案する。 実験的に、DGSSAとGLADの統合圧縮パイプラインは、すべてのSOTAアプローチを超えるDeiTと比較して、最大121%のランタイムスループットを加速することができる。

関連論文リスト

• You Only Need Less Attention at Each Stage in Vision Transformers [19.660385306028047]
  ViT(Vision Transformer)は、自己認識モジュールを通じて画像のグローバルな情報をキャプチャする。 本稿では,各段階の注意操作のみを演算するLose-Attention Vision Transformer (LaViT)を提案する。 我々のアーキテクチャは、分類、検出、セグメンテーションを含む様々な視覚タスクにおいて、例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-01T12:49:16Z)
• Multi-Dimensional Hyena for Spatial Inductive Bias [69.3021852589771]
  自己注意に依存しないデータ効率の高い視覚変換器を提案する。 代わりに、非常に最近のハイエナ層の複数の軸に新しい一般化を用いる。 ハイエナN-DをベースとしたハイブリッドなアプローチをViTの第1層に適用し,それに続いて従来の注目層を取り入れた手法により,様々な視覚トランスフォーマーアーキテクチャの性能が一貫して向上することを示す。
  論文  参考訳（メタデータ） (2023-09-24T10:22:35Z)
• Laplacian-Former: Overcoming the Limitations of Vision Transformers in Local Texture Detection [3.784298636620067]
  Vision Transformer (ViT) モデルは、幅広いコンピュータビジョンタスクにおいてブレークスルーを実証している。 これらのモデルは、画像の高周波成分を捉えるのに苦労しており、局所的なテクスチャやエッジ情報を検出する能力を制限することができる。 本稿では,ラプラシアンピラミッド内の周波数情報を適応的に補正することで自己注意マップを向上する新しい手法であるラプラシアン・フォーマーを提案する。
  論文  参考訳（メタデータ） (2023-08-31T19:56:14Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention [23.874485033096917]
  Vision Transformer (ViT)は、様々なコンピュータビジョンアプリケーションのための畳み込みニューラルネットワークの競合代替として登場した。 そこで本研究では,VitaliTy という,VT の推論効率向上のためのハードウェア設計フレームワークを提案する。 ViTALiTyは、ViTにおける注目の低ランクとスパースの両方のコンポーネントを統合する。
  論文  参考訳（メタデータ） (2022-11-09T18:58:21Z)
• On Improving Adversarial Transferability of Vision Transformers [97.17154635766578]
  視覚変換器(ViT)は、入力画像を、自己注意によるパッチのシーケンスとして処理する。 本稿では,ViTモデルの対角的特徴空間とその伝達性について検討する。 本稿では,ViTモデルのアーキテクチャに特有な2つの新しい戦略を紹介する。
  論文  参考訳（メタデータ） (2021-06-08T08:20:38Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• DeepViT: Towards Deeper Vision Transformer [92.04063170357426]
  近年,視覚変換器 (ViT) が画像分類タスクに応用されている。 より畳み込み層を積み重ねることで改善できる畳み込みニューラルネットワーク(CNN)とは異なり、ViTの性能はより深いスケールで飽和する。 本研究では,アテンションマップの多様性を高めるために,アテンションマップを再生成する手法であるre-attentionを提案する。
  論文  参考訳（メタデータ） (2021-03-22T14:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。