論文の概要: Lite Vision Transformer with Enhanced Self-Attention

• arxiv url: http://arxiv.org/abs/2112.10809v1
• Date: Mon, 20 Dec 2021 19:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 14:16:21.503787
• Title: Lite Vision Transformer with Enhanced Self-Attention
• Title（参考訳）: 自己着脱機能強化型ライトビジョントランスフォーマ
• Authors: Chenglin Yang, Yilin Wang, Jianming Zhang, He Zhang, Zijun Wei, Zhe Lin, Alan Yuille
• Abstract要約: 2つの拡張自己注意機構を持つ新しい軽量ビジョントランスネットワークLVTを提案する。 低レベルの機能については、CSA(Convolutional Self-Attention)を紹介します。 高次機能のために、再帰的アトラス自己注意(RASA)を提案する。
• 参考スコア（独自算出の注目度）: 39.32480787105232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive representation capacity of vision transformer models, current light-weight vision transformer models still suffer from inconsistent and incorrect dense predictions at local regions. We suspect that the power of their self-attention mechanism is limited in shallower and thinner networks. We propose Lite Vision Transformer (LVT), a novel light-weight transformer network with two enhanced self-attention mechanisms to improve the model performances for mobile deployment. For the low-level features, we introduce Convolutional Self-Attention (CSA). Unlike previous approaches of merging convolution and self-attention, CSA introduces local self-attention into the convolution within a kernel of size 3x3 to enrich low-level features in the first stage of LVT. For the high-level features, we propose Recursive Atrous Self-Attention (RASA), which utilizes the multi-scale context when calculating the similarity map and a recursive mechanism to increase the representation capability with marginal extra parameter cost. The superiority of LVT is demonstrated on ImageNet recognition, ADE20K semantic segmentation, and COCO panoptic segmentation. The code is made publicly available.
• Abstract（参考訳）: 視覚変換器モデルの印象的な表現能力にもかかわらず、現在の軽量視覚変換器モデルは依然として局所的に不整合かつ誤った密度予測に悩まされている。 自己着脱機構のパワーは、より浅く薄いネットワークで制限されていると推測する。 LVT(Lite Vision Transformer)は,移動体配置のためのモデル性能を改善するために,2つの拡張自己アテンション機構を備えた軽量トランスネットワークである。 低レベルの機能については、CSA(Convolutional Self-Attention)を紹介します。 従来の畳み込みと自己アテンションの融合アプローチとは異なり、CSAはLVTの第1段階において低レベルの特徴を豊かにするために、大きさ3x3のカーネル内の畳み込みに局所的な自己アテンションを導入する。 高レベルの特徴として,類似度マップの計算におけるマルチスケールコンテキストと余剰パラメータコストによる表現能力向上のための再帰的アラス自己認識(RASA)を提案する。 LVTの優位性は、ImageNet認識、ADE20Kセマンティックセグメンテーション、COCOパン光学セグメンテーションで示される。 コードは公開されています。

関連論文リスト

• DuoFormer: Leveraging Hierarchical Visual Representations by Local and Global Attention [1.5624421399300303]
  本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。 インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。 これらの表現は、革新的なパッチトークン化を通じてトランスフォーマー入力に適合する。
  論文  参考訳（メタデータ） (2024-07-18T22:15:35Z)
• Lightweight Vision Transformer with Bidirectional Interaction [63.65115590184169]
  本研究では,視覚変換器の局所的・グローバル的情報をモデル化するためのFASA機構を提案する。 FASAに基づいて、我々はFAT(Fully Adaptive Transformer)ファミリーという軽量なビジョンバックボーンのファミリーを開発した。
  論文  参考訳（メタデータ） (2023-06-01T06:56:41Z)
• Slide-Transformer: Hierarchical Vision Transformer with Local Self-Attention [34.26177289099421]
  視覚変換器(ViT)の最近の進歩において、自己注意機構が重要な要素となっている。 本稿では,高効率,柔軟性,一般化性を実現するために共通畳み込み演算を利用する新しいローカルアテンションモジュールを提案する。 我々のモジュールは、効率的かつ柔軟な方法で局所的な注意パラダイムを実現する。
  論文  参考訳（メタデータ） (2023-04-09T13:37:59Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• LocalViT: Bringing Locality to Vision Transformers [132.42018183859483]
  線、エッジ、形状、さらにはオブジェクトなどの構造に関連するため、画像には局所性が不可欠です。 フィードフォワードネットワークに奥行き畳み込みを導入することで,視覚トランスフォーメーションに局所性を加える。 この一見シンプルなソリューションは、フィードフォワードネットワークと反転残留ブロックの比較に触発されます。
  論文  参考訳（メタデータ） (2021-04-12T17:59:22Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。