論文の概要: Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

• arxiv url: http://arxiv.org/abs/2406.19391v1
• Date: Thu, 27 Jun 2024 17:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:09:01.949662
• Title: Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads
• Title（参考訳）: 意図的視覚表現学習 : 異なる意図の頭上での学習
• Authors: Ali Khaleghi Rahimian, Manish Kumar Govind, Subhajit Maity, Dominick Reilly, Christian Kümmerle, Srijan Das, Aritra Dutta,
• Abstract要約: 視覚知覚タスクは、その有効性にもかかわらず、主にViTによって解決される。 その効果にもかかわらず、ViTは自己注意の計算の複雑さのために計算のボトルネックに直面している。 構築した自己意識を近似するFibottention Architectureを提案する。
• 参考スコア（独自算出の注目度）: 10.169639612525643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual perception tasks are predominantly solved by Vision Transformer (ViT) architectures, which, despite their effectiveness, encounter a computational bottleneck due to the quadratic complexity of computing self-attention. This inefficiency is largely due to the self-attention heads capturing redundant token interactions, reflecting inherent redundancy within visual data. Many works have aimed to reduce the computational complexity of self-attention in ViTs, leading to the development of efficient and sparse transformer architectures. In this paper, viewing through the efficiency lens, we realized that introducing any sparse self-attention strategy in ViTs can keep the computational overhead low. However, these strategies are sub-optimal as they often fail to capture fine-grained visual details. This observation leads us to propose a general, efficient, sparse architecture, named Fibottention, for approximating self-attention with superlinear complexity that is built upon Fibonacci sequences. The key strategies in Fibottention include: it excludes proximate tokens to reduce redundancy, employs structured sparsity by design to decrease computational demands, and incorporates inception-like diversity across attention heads. This diversity ensures the capture of complementary information through non-overlapping token interactions, optimizing both performance and resource utilization in ViTs for visual representation learning. We embed our Fibottention mechanism into multiple state-of-the-art transformer architectures dedicated to visual tasks. Leveraging only 2-6% of the elements in the self-attention heads, Fibottention in conjunction with ViT and its variants, consistently achieves significant performance boosts compared to standard ViTs in nine datasets across three domains $\unicode{x2013}$ image classification, video understanding, and robot learning tasks.
• Abstract（参考訳）: 視覚知覚タスクは視覚変換器(ViT)アーキテクチャによって主に解決されるが、その効果にもかかわらず、コンピュータの自己注意の二次的な複雑さのために計算のボトルネックに直面する。 この非効率性は、視覚データに固有の冗長性を反映して、冗長なトークン相互作用をキャプチャする自己認識ヘッドが原因である。 多くの研究は、ViTにおける自己注意の計算複雑性を減らし、効率的でスパースなトランスフォーマーアーキテクチャの開発に繋がった。 本稿では、高効率レンズを通して、ViTsにスパース自己注意戦略を導入することで、計算オーバーヘッドを低くすることができることを認識した。 しかし、これらの戦略は、細かな視覚的詳細を捉えるのに失敗することが多いため、準最適である。 この観察により、フィボナッチ配列上に構築された超線形複雑性で自己注意を近似する汎用的で効率的でスパースなアーキテクチャFibottentionを提案する。 フィボテントの主要な戦略は、冗長性を減らすためにプロクサメートトークンを除外し、計算要求を減らすために設計によって構造化されたスパーシティを採用し、注意ヘッドをまたいだインセプションのような多様性を取り入れることである。 この多様性は、重複しないトークン相互作用を通じて補完的な情報をキャプチャし、視覚表現学習のためのViTのパフォーマンスとリソース利用の両方を最適化する。 視覚タスク専用の複数の最先端トランスフォーマーアーキテクチャに、フィボテンションメカニズムを組み込む。 自己注意ヘッドの要素の2-6%しか活用していないFibottentionは、ViTとその変種とともに、画像分類、ビデオ理解、ロボット学習タスクを3つの領域にまたがる9つのデータセットで標準のViTと比較すると、一貫して大きなパフォーマンス向上を実現している。

関連論文リスト

• Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi [0.0]
  畳み込みニューラルネットワーク(CNN)は、層に沿って進行する入力画像の短距離相関を評価する。 視覚変換器(ViT)アーキテクチャは、完全に接続された層からなる繰り返し変換器エンコーダを用いて、長距離相関を評価する。 本研究は,CNNとViTアーキテクチャが基盤となる学習機構の統一に由来することを示す。
  論文  参考訳（メタデータ） (2025-01-22T14:19:48Z)
• Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction [29.12836710966048]
  本稿では,トークン数に応じて計算複雑性が線形にスケールする新しいトランスフォーマーアテンション演算子を提案する。 本研究は, トランスフォーマーアーキテクチャの成功に対して, ペアワイズ類似性スタイルの注意機構が重要であるという従来の知恵に疑問を投げかけるものである。
  論文  参考訳（メタデータ） (2024-12-23T18:59:21Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• Perceiving Longer Sequences With Bi-Directional Cross-Attention Transformers [13.480259378415505]
  BiXTは、計算コストとメモリ消費の観点から、入力サイズと線形にスケールする。 BiXTはPerceiverアーキテクチャにインスパイアされているが、反復的な注意を効率よく双方向のクロスアテンションモジュールに置き換える。 効率性とフルトランスフォーマーアーキテクチャの汎用性と性能を組み合わせることで、BiXTはより長いシーケンスを処理できる。
  論文  参考訳（メタデータ） (2024-02-19T13:38:15Z)
• Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
  本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。 提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
  論文  参考訳（メタデータ） (2023-10-03T08:44:50Z)
• Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences [16.066338004414092]
  textitDiffuserはシーケンシャル・ツー・シーケンス・モデリングのための新しい効率的なトランスフォーマーである。 低い計算とメモリコストを維持しながら、すべてのトークンインタラクションを1つの注意層に組み込む。 スペクトルの観点からグラフ展開特性を解析することにより、全アテンションを近似する能力を示す。
  論文  参考訳（メタデータ） (2022-10-21T08:13:34Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。