論文の概要: EViT: An Eagle Vision Transformer with Bi-Fovea Self-Attention
- arxiv url: http://arxiv.org/abs/2310.06629v3
- Date: Sun, 21 Apr 2024 10:05:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 00:32:58.010122
- Title: EViT: An Eagle Vision Transformer with Bi-Fovea Self-Attention
- Title（参考訳）: EViT:バイフォア・セルフアテンションを備えたイーグル・ビジョン・トランス
- Authors: Yulong Shi, Mingwei Sun, Yongshuai Wang, Jiahao Ma, Zengqiang Chen,
- Abstract要約: 視覚変換器は様々なコンピュータビジョンタスクにおいて競争性能を示した。
ワシ眼の生理構造と視覚特性に着想を得た新しいBFSA(Bi-Fovea Self-Attention)を提案する。
我々は,BEVブロックを積み重ねることで,Eagle Vision Transformers (EViTs) と呼ばれる,統一的で効率的なピラミッドバックボーンネットワークファミリを開発する。
- 参考スコア（独自算出の注目度）: 5.813760119694438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Thanks to the advancement of deep learning technology, vision transformers has demonstrated competitive performance in various computer vision tasks. Unfortunately, vision transformers still faces some challenges such as high computational complexity and absence of desirable inductive bias. To alleviate these issues, we propose a novel Bi-Fovea Self-Attention (BFSA) inspired by the physiological structure and visual properties of eagle eyes. This BFSA is used to simulate the shallow and deep fovea of eagle vision, prompting the network to learn the feature representation of targets from coarse to fine. Additionally, we design a Bionic Eagle Vision (BEV) block based on BFSA. It combines the advantages of convolution and introduces a novel Bi-Fovea Feedforward Network (BFFN) to mimic the working way of biological visual cortex processes information in hierarchically and parallel. Furthermore, we develop a unified and efficient pyramid backbone network family called Eagle Vision Transformers (EViTs) by stacking BEV blocks. Experimental results show that EViTs exhibit highly competitive performance in various computer vision tasks such as image classification, object detection and semantic segmentation. Especially in terms of performance and computational efficiency, EViTs show significant advantages compared with other counterparts. Code is available at https://github.com/nkusyl/EViT
- Abstract（参考訳）: 深層学習技術の進歩により、視覚変換器は様々なコンピュータビジョンタスクにおいて競争力を発揮している。
残念ながら、視覚変換器は高い計算複雑性や望ましい帰納バイアスの欠如など、いくつかの課題に直面している。
これらの問題を緩和するために,ワシ眼の生理的構造と視覚的特性に触発された新しいBFSA(Bi-Fovea Self-Attention)を提案する。
このBFSAは、イーグルビジョンの浅部と深部をシミュレートするために使用され、ネットワークはターゲットの特徴表現を粗いものから細かいものへと学習する。
さらに,BFSA に基づく Bionic Eagle Vision (BEV) ブロックを設計する。
畳み込みの利点を組み合わせて、生物学的視覚野が情報を階層的に並列に処理する仕組みを模倣する新しいBi-Fovea Feedforward Network (BFFN)を導入する。
さらに、BEVブロックを積み重ねることで、Eagle Vision Transformers (EViTs) と呼ばれる統合的で効率的なピラミッドバックボーンネットワークファミリを開発する。
実験の結果,EViTは画像分類,オブジェクト検出,セマンティックセグメンテーションなど,様々なコンピュータビジョンタスクにおいて高い競争性能を示すことがわかった。
特に性能と計算効率の面では、EViTは他と比較して大きな優位性を示している。
コードはhttps://github.com/nkusyl/EViTで入手できる。
関連論文リスト
- Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads [10.169639612525643]
視覚知覚タスクは、その有効性にもかかわらず、主にViTによって解決される。
その効果にもかかわらず、ViTは自己注意の計算の複雑さのために計算のボトルネックに直面している。
構築した自己意識を近似するFibottention Architectureを提案する。
論文 参考訳（メタデータ） (2024-06-27T17:59:40Z) - FViT: A Focal Vision Transformer with Gabor Filter [11.655231153093082]
視覚変換器とGaborフィルタの統合による潜在的な利点を再考する。
畳み込みを用いた学習可能なガバーフィルタ(LGF)を提案する。
我々はFocal Vision Transformers (FViTs) と呼ばれる統合的で効率的なピラミッドバックボーンネットワークファミリーを開発している。
論文 参考訳（メタデータ） (2024-02-17T15:03:25Z) - DualToken-ViT: Position-aware Efficient Vision Transformer with Dual
Token Fusion [25.092756016673235]
自己注意に基づく視覚変換器(ViT)はコンピュータビジョンにおいて高い競争力を持つアーキテクチャとして登場した。
本稿では,DualToken-ViTと呼ばれる軽量かつ効率的な視覚変換器モデルを提案する。
論文 参考訳（メタデータ） (2023-09-21T18:46:32Z) - A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。
我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。
FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
論文 参考訳（メタデータ） (2022-12-23T19:13:43Z) - CoBEVT: Cooperative Bird's Eye View Semantic Segmentation with Sparse
Transformers [36.838065731893735]
CoBEVTは、BEVマップ予測を協調的に生成できる最初の汎用マルチエージェント認識フレームワークである。
CoBEVTは協調的BEVセマンティックセグメンテーションのための最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-05T17:59:28Z) - Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。
重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。
また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
論文 参考訳（メタデータ） (2022-04-26T08:22:34Z) - ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for
Image Recognition and Beyond [76.35955924137986]
我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。
ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。
我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
論文 参考訳（メタデータ） (2022-02-21T10:40:05Z) - ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。
ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。
各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
論文 参考訳（メタデータ） (2021-06-07T05:31:06Z) - Intriguing Properties of Vision Transformers [114.28522466830374]
視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。
我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。
ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
論文 参考訳（メタデータ） (2021-05-21T17:59:18Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳（メタデータ） (2021-05-17T02:39:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。