論文の概要: Skip-Attention: Improving Vision Transformers by Paying Less Attention

• arxiv url: http://arxiv.org/abs/2301.02240v1
• Date: Thu, 5 Jan 2023 18:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 14:17:40.971637
• Title: Skip-Attention: Improving Vision Transformers by Paying Less Attention
• Title（参考訳）: スキップ注意:注意力の低下による視覚変換器の改善
• Authors: Shashanka Venkataramanan, Amir Ghodrati, Yuki M. Asano, Fatih Porikli, Amirhossein Habibian
• Abstract要約: 視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 55.47058516775423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work aims to improve the efficiency of vision transformers (ViT). While ViTs use computationally expensive self-attention operations in every layer, we identify that these operations are highly correlated across layers -- a key redundancy that causes unnecessary computations. Based on this observation, we propose SkipAt, a method to reuse self-attention computation from preceding layers to approximate attention at one or more subsequent layers. To ensure that reusing self-attention blocks across layers does not degrade the performance, we introduce a simple parametric function, which outperforms the baseline transformer's performance while running computationally faster. We show the effectiveness of our method in image classification and self-supervised learning on ImageNet-1K, semantic segmentation on ADE20K, image denoising on SIDD, and video denoising on DAVIS. We achieve improved throughput at the same-or-higher accuracy levels in all these tasks.
• Abstract（参考訳）: 本研究の目的は、視覚変換器(ViT)の効率を改善することである。 vitは、各層で計算コストの高い自己アテンション操作を使用しているが、これらの操作が層間で高い相関関係にあることを認識している。 そこで本研究では,先行層からの自己注意計算を再利用し,次の層に注目する手法であるSkipAtを提案する。 レイヤ間の自己アテンションブロックの再利用が性能を低下させないように,計算速度を高速化しつつ,ベースライントランスフォーマーの性能を上回る単純なパラメトリック関数を導入する。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。 これらすべてのタスクにおいて、同じまたは高い精度でスループットが向上します。

関連論文リスト

• Faster Image2Video Generation: A Closer Look at CLIP Image Embedding's Impact on Spatio-Temporal Cross-Attentions [27.111140222002653]
  本稿では,Stable Video Diffusion (SVD) フレームワークにおけるCLIP画像埋め込みの役割について検討する。 本稿では,SVDアーキテクチャの効率性に最適化されたトレーニング不要のアプローチであるVCUTを紹介する。 VCUTの実装により、ビデオ毎のMAC(Multiple-Accumulate Operations)を最大322T削減し、モデルパラメータを最大50M削減し、ベースラインと比較して20%のレイテンシ削減を実現した。
  論文  参考訳（メタデータ） (2024-07-27T08:21:14Z)
• Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads [10.169639612525643]
  視覚知覚タスクは、その有効性にもかかわらず、主にViTによって解決される。 その効果にもかかわらず、ViTは自己注意の計算の複雑さのために計算のボトルネックに直面している。 構築した自己意識を近似するFibottention Architectureを提案する。
  論文  参考訳（メタデータ） (2024-06-27T17:59:40Z)
• You Only Need Less Attention at Each Stage in Vision Transformers [19.660385306028047]
  ViT(Vision Transformer)は、自己認識モジュールを通じて画像のグローバルな情報をキャプチャする。 本稿では,各段階の注意操作のみを演算するLose-Attention Vision Transformer (LaViT)を提案する。 我々のアーキテクチャは、分類、検出、セグメンテーションを含む様々な視覚タスクにおいて、例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-01T12:49:16Z)
• DynaSeg: A Deep Dynamic Fusion Method for Unsupervised Image Segmentation Incorporating Feature Similarity and Spatial Continuity [0.5755004576310334]
  我々は、革新的な教師なしイメージセグメンテーションアプローチであるDynaSegを紹介する。 従来の方法とは異なり、ダイナセグは動的重み付け方式を採用している。 画像の特徴に柔軟に対応し、他のセグメンテーションネットワークとの統合を容易にする。
  論文  参考訳（メタデータ） (2024-05-09T00:30:45Z)
• HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
  トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-09-11T05:17:55Z)
• Learning Image Deraining Transformer Network with Dynamic Dual Self-Attention [46.11162082219387]
  本稿では,動的二重自己アテンション(DDSA)を用いた画像デコライニング変換器を提案する。 具体的には、トップk近似計算に基づいて、最も有用な類似度値のみを選択し、スパースアテンションを実現する。 また,高品質な定位結果を得るためのより正確な表現を実現するために,新しい空間拡張フィードフォワードネットワーク(SEFN)を開発した。
  論文  参考訳（メタデータ） (2023-08-15T13:59:47Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Three things everyone should know about Vision Transformers [67.30250766591405]
  トランスフォーマーアーキテクチャは コンピュータビジョンにおいて 急速に勢いを増しています 視覚変換器の変種をシンプルかつ容易に実装できる3つの洞察を提供する。 我々は、ImageNet-1kデータセットを用いて、これらの設計選択の影響を評価し、ImageNet-v2テストセットにおける結果を確認した。
  論文  参考訳（メタデータ） (2022-03-18T08:23:03Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。