論文の概要: Vision Transformers with Hierarchical Attention

• arxiv url: http://arxiv.org/abs/2106.03180v5
• Date: Tue, 26 Mar 2024 07:44:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 02:19:20.858274
• Title: Vision Transformers with Hierarchical Attention
• Title（参考訳）: 階層的注意を伴う視覚変換器
• Authors: Yun Liu, Yu-Huan Wu, Guolei Sun, Le Zhang, Ajad Chhatkuli, Luc Van Gool,
• Abstract要約: 本稿では、視覚変換器におけるMHSA(Multi-Head Self-Attention)に関連する計算・空間の複雑さに対処する。 階層型MHSA(Hierarchical MHSA, H-MHSA)を提案する。 我々は階層型アテンションベースのトランスフォーマーネットワーク,すなわちHAT-Netのファミリを構築する。
• 参考スコア（独自算出の注目度）: 61.16912607330001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper tackles the high computational/space complexity associated with Multi-Head Self-Attention (MHSA) in vanilla vision transformers. To this end, we propose Hierarchical MHSA (H-MHSA), a novel approach that computes self-attention in a hierarchical fashion. Specifically, we first divide the input image into patches as commonly done, and each patch is viewed as a token. Then, the proposed H-MHSA learns token relationships within local patches, serving as local relationship modeling. Then, the small patches are merged into larger ones, and H-MHSA models the global dependencies for the small number of the merged tokens. At last, the local and global attentive features are aggregated to obtain features with powerful representation capacity. Since we only calculate attention for a limited number of tokens at each step, the computational load is reduced dramatically. Hence, H-MHSA can efficiently model global relationships among tokens without sacrificing fine-grained information. With the H-MHSA module incorporated, we build a family of Hierarchical-Attention-based Transformer Networks, namely HAT-Net. To demonstrate the superiority of HAT-Net in scene understanding, we conduct extensive experiments on fundamental vision tasks, including image classification, semantic segmentation, object detection, and instance segmentation. Therefore, HAT-Net provides a new perspective for vision transformers. Code and pretrained models are available at https://github.com/yun-liu/HAT-Net.
• Abstract（参考訳）: 本稿では,バニラ視覚変換器におけるMHSA(Multi-Head Self-Attention)に関連する計算・空間の複雑さに対処する。 この目的のために,階層型MHSA (H-MHSA) を提案する。 具体的には、まず入力画像を通常行われているパッチに分割し、各パッチをトークンとして見る。 提案したH-MHSAは,局所パッチ内のトークン関係を学習し,局所的関係モデルとして機能する。 その後、小さなパッチはより大きなパッチにマージされ、H-MHSAはマージされたトークンの少数に対するグローバルな依存関係をモデル化する。 最終的に、局所的および大域的注意機能は集約され、強力な表現能力を持つ特徴を得る。 各ステップで限られた数のトークンにのみ注目するので、計算負荷は劇的に減少する。 したがって、H-MHSAはきめ細かい情報を犠牲にすることなく、トークン間のグローバルな関係を効率的にモデル化することができる。 H-MHSAモジュールを組み込んだ階層型トランスフォーマーネットワーク(HAT-Net)のファミリを構築する。 本研究では,シーン理解におけるHAT-Netの優位性を示すために,画像分類,セマンティックセグメンテーション,オブジェクト検出,インスタンスセグメンテーションといった基本的なビジョンタスクについて広範な実験を行った。 したがって、HAT-Netはビジョントランスフォーマーの新しい視点を提供する。 コードと事前訓練されたモデルはhttps://github.com/yun-liu/HAT-Net.comで入手できる。

関連論文リスト

• Revisiting the Integration of Convolution and Attention for Vision Backbone [59.50256661158862]
  畳み込みとMHSA(Multi-head self-attentions)は一般的に、視覚バックボーンを構築するための代替手段であると考えられている。 そこで本研究では,MSHAとConvsを,異なる粒度レベルで並列的に使用することを提案する。 我々は,提案手法であるtextitGLMix の可能性を実証的に検証した。軽量なConvs に細粒度機能の負荷をオフロードすることで,いくつかのセマンティックスロットで MHSAs を使用するのに十分である。
  論文  参考訳（メタデータ） (2024-11-21T18:59:08Z)
• Vision Transformer with Super Token Sampling [93.70963123497327]
  多くの視覚タスクにおいて、視覚変換器は印象的なパフォーマンスを達成した。 浅い層のために局所的な特徴を捉える際に、高い冗長性に悩まされる可能性がある。 スーパートークンは、視覚的コンテンツの意味的に意味のあるテッセルレーションを提供しようとする。
  論文  参考訳（メタデータ） (2022-11-21T03:48:13Z)
• MAFormer: A Transformer Network with Multi-scale Attention Fusion for Visual Recognition [45.68567088645708]
  マルチスケールアテンションフュージョンを変換器(MAFormer)に導入する。 MAFormerは、視覚認識のためのデュアルストリームフレームワークにおいて、局所的な集約とグローバルな特徴抽出について検討する。 私たちのMAFormerは、一般的な視覚タスクで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-08-31T06:29:27Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• Global Interaction Modelling in Vision Transformer via Super Tokens [20.700750237972155]
  ウィンドウベースのローカルアテンションは、最近の研究で採用されている主要なテクニックの1つである。 本稿では、ローカルウィンドウとスーパートークンと呼ばれる特別なトークンを自己注意のために採用した新しい等方的アーキテクチャを提案する。 Imagenet-1Kの標準画像分類では、提案されたSuper tokens based transformer (STT-S25) は83.5%の精度を実現している。
  論文  参考訳（メタデータ） (2021-11-25T16:22:57Z)
• P2T: Pyramid Pooling Transformer for Scene Understanding [62.41912463252468]
  私たちはP2Tと呼ばれる下流タスク指向のトランスネットワークを構築します。 プールベースのMHSAを組み込んで、P2Tと呼ばれる下流タスク指向のトランスネットワークを構築しました。
  論文  参考訳（メタデータ） (2021-06-22T18:28:52Z)
• OmniNet: Omnidirectional Representations from Transformers [49.23834374054286]
  本稿ではトランスフォーマー(OmniNet)からのOmnidirect Representationsを提案する。 OmniNetでは、厳密に水平な受容フィールドを維持する代わりに、各トークンはネットワーク全体のすべてのトークンに参加することができる。 自動回帰言語モデリング、機械翻訳、長距離アリーナ(LRA)、画像認識に関する実験が行われている。
  論文  参考訳（メタデータ） (2021-03-01T15:31:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。