論文の概要: Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

• arxiv url: http://arxiv.org/abs/2406.19391v1
• Date: Thu, 27 Jun 2024 17:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:09:01.949662
• Title: Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads
• Title（参考訳）: 意図的視覚表現学習 : 異なる意図の頭上での学習
• Authors: Ali Khaleghi Rahimian, Manish Kumar Govind, Subhajit Maity, Dominick Reilly, Christian Kümmerle, Srijan Das, Aritra Dutta,
• Abstract要約: 視覚知覚タスクは、その有効性にもかかわらず、主にViTによって解決される。 その効果にもかかわらず、ViTは自己注意の計算の複雑さのために計算のボトルネックに直面している。 構築した自己意識を近似するFibottention Architectureを提案する。
• 参考スコア（独自算出の注目度）: 10.169639612525643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual perception tasks are predominantly solved by Vision Transformer (ViT) architectures, which, despite their effectiveness, encounter a computational bottleneck due to the quadratic complexity of computing self-attention. This inefficiency is largely due to the self-attention heads capturing redundant token interactions, reflecting inherent redundancy within visual data. Many works have aimed to reduce the computational complexity of self-attention in ViTs, leading to the development of efficient and sparse transformer architectures. In this paper, viewing through the efficiency lens, we realized that introducing any sparse self-attention strategy in ViTs can keep the computational overhead low. However, these strategies are sub-optimal as they often fail to capture fine-grained visual details. This observation leads us to propose a general, efficient, sparse architecture, named Fibottention, for approximating self-attention with superlinear complexity that is built upon Fibonacci sequences. The key strategies in Fibottention include: it excludes proximate tokens to reduce redundancy, employs structured sparsity by design to decrease computational demands, and incorporates inception-like diversity across attention heads. This diversity ensures the capture of complementary information through non-overlapping token interactions, optimizing both performance and resource utilization in ViTs for visual representation learning. We embed our Fibottention mechanism into multiple state-of-the-art transformer architectures dedicated to visual tasks. Leveraging only 2-6% of the elements in the self-attention heads, Fibottention in conjunction with ViT and its variants, consistently achieves significant performance boosts compared to standard ViTs in nine datasets across three domains $\unicode{x2013}$ image classification, video understanding, and robot learning tasks.
• Abstract（参考訳）: 視覚知覚タスクは視覚変換器(ViT)アーキテクチャによって主に解決されるが、その効果にもかかわらず、コンピュータの自己注意の二次的な複雑さのために計算のボトルネックに直面する。 この非効率性は、視覚データに固有の冗長性を反映して、冗長なトークン相互作用をキャプチャする自己認識ヘッドが原因である。 多くの研究は、ViTにおける自己注意の計算複雑性を減らし、効率的でスパースなトランスフォーマーアーキテクチャの開発に繋がった。 本稿では、高効率レンズを通して、ViTsにスパース自己注意戦略を導入することで、計算オーバーヘッドを低くすることができることを認識した。 しかし、これらの戦略は、細かな視覚的詳細を捉えるのに失敗することが多いため、準最適である。 この観察により、フィボナッチ配列上に構築された超線形複雑性で自己注意を近似する汎用的で効率的でスパースなアーキテクチャFibottentionを提案する。 フィボテントの主要な戦略は、冗長性を減らすためにプロクサメートトークンを除外し、計算要求を減らすために設計によって構造化されたスパーシティを採用し、注意ヘッドをまたいだインセプションのような多様性を取り入れることである。 この多様性は、重複しないトークン相互作用を通じて補完的な情報をキャプチャし、視覚表現学習のためのViTのパフォーマンスとリソース利用の両方を最適化する。 視覚タスク専用の複数の最先端トランスフォーマーアーキテクチャに、フィボテンションメカニズムを組み込む。 自己注意ヘッドの要素の2-6%しか活用していないFibottentionは、ViTとその変種とともに、画像分類、ビデオ理解、ロボット学習タスクを3つの領域にまたがる9つのデータセットで標準のViTと比較すると、一貫して大きなパフォーマンス向上を実現している。

関連論文リスト

• Optimizing Vision Transformers with Data-Free Knowledge Transfer [8.323741354066474]
  視覚変換器(ViT)は、長距離依存を捕捉する能力に優れており、様々なコンピュータビジョンタスクに優れていた。 本稿では,KD(Knowledge Distillation)を用いた大規模ViTモデルの圧縮を提案する。
  論文  参考訳（メタデータ） (2024-08-12T07:03:35Z)
• You Only Need Less Attention at Each Stage in Vision Transformers [19.660385306028047]
  ViT(Vision Transformer)は、自己認識モジュールを通じて画像のグローバルな情報をキャプチャする。 本稿では,各段階の注意操作のみを演算するLose-Attention Vision Transformer (LaViT)を提案する。 我々のアーキテクチャは、分類、検出、セグメンテーションを含む様々な視覚タスクにおいて、例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-01T12:49:16Z)
• Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
  視覚変換器(ViT)の基盤となる自己注意機構は、意味的に無関係なオブジェクトや領域であっても、すべてのグローバルな手がかりを包含する傾向がある。 本稿では,Transformer for IR(すなわちSemanIR)を通じて重要なセマンティクスを共有することで,画像復元の性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:45:34Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Skip-Attention: Improving Vision Transformers by Paying Less Attention [55.47058516775423]
  視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:59:52Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Lightweight Structure-Aware Attention for Visual Understanding [16.860625620412943]
  視覚変換器(ViT)は、自己注意演算子を用いた視覚表現学習において支配的なパラダイムとなっている。 本稿では,ログ線形複雑度の高い表現能力を有する軽量構造認識型注意演算子(LiSA)を提案する。 実験およびアブレーション実験により,提案した演算子に基づくViTsが,自己注意や他の既存演算子より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-29T15:20:14Z)
• Patch-level Representation Learning for Self-supervised Vision Transformers [68.8862419248863]
  視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。 これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。 我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-06-16T08:01:19Z)
• Self-slimmed Vision Transformer [52.67243496139175]
  視覚変換器(ViT)は、様々な視覚タスクにおいて一般的な構造となり、CNN(Creative Convolutional Neural Network)よりも優れています。 本稿では,バニラVT,すなわちSiTに対する汎用的な自己スリム学習手法を提案する。 具体的には、まず、ViTの推論効率を向上させる新しいToken Slimming Module (TSM) を設計する。
  論文  参考訳（メタデータ） (2021-11-24T16:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。