論文の概要: DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention

• arxiv url: http://arxiv.org/abs/2410.08582v1
• Date: Fri, 11 Oct 2024 07:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 23:04:57.371130
• Title: DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention
• Title（参考訳）: DeBiFormer: 変形可能なエージェントバイレベルルーティングアテンションを備えたビジョントランス
• Authors: Nguyen Huu Bao Long, Chenyu Zhang, Yuzhi Shi, Tsubasa Hirakawa, Takayoshi Yamashita, Tohgoroh Matsui, Hironobu Fujiyoshi,
• Abstract要約: 本稿では,鍵値ペアの選択を最適化するために,変形可能な2レベルルーティング注意(DBRA)モジュールを提案する。 そこで我々は,新しい汎用視覚変換器であるDeformable Bi-level Routing Attention Transformer (DeBiFormer)を紹介する。 DeBiFormerは、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまなコンピュータビジョンタスクで検証されている。
• 参考スコア（独自算出の注目度）: 11.338273151173427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers with various attention modules have demonstrated superior performance on vision tasks. While using sparsity-adaptive attention, such as in DAT, has yielded strong results in image classification, the key-value pairs selected by deformable points lack semantic relevance when fine-tuning for semantic segmentation tasks. The query-aware sparsity attention in BiFormer seeks to focus each query on top-k routed regions. However, during attention calculation, the selected key-value pairs are influenced by too many irrelevant queries, reducing attention on the more important ones. To address these issues, we propose the Deformable Bi-level Routing Attention (DBRA) module, which optimizes the selection of key-value pairs using agent queries and enhances the interpretability of queries in attention maps. Based on this, we introduce the Deformable Bi-level Routing Attention Transformer (DeBiFormer), a novel general-purpose vision transformer built with the DBRA module. DeBiFormer has been validated on various computer vision tasks, including image classification, object detection, and semantic segmentation, providing strong evidence of its effectiveness.Code is available at {https://github.com/maclong01/DeBiFormer}
• Abstract（参考訳）: 様々な注目モジュールを持つ視覚変換器は、視覚タスクにおいて優れた性能を示す。 DATのような空間適応的注意を用いた場合、画像分類において強い結果が得られたが、変形可能な点から選択されたキー値対は意味的セグメンテーションタスクの微調整時に意味的関連性が欠如している。 BiFormerのクエリ対応の空間的注意は、各クエリをトップkのルーティングリージョンに集中させることを目指している。 しかし、注意計算では、選択されたキーと値のペアは、無関係なクエリが多すぎることで影響を受け、より重要なクエリへの注意が減少する。 これらの問題に対処するために,エージェントクエリを用いたキー値ペアの選択を最適化し,アテンションマップにおけるクエリの解釈可能性を高める,変形可能なバイレベルルーティングアテンション(DBRA)モジュールを提案する。 そこで本研究では,DBRAモジュールで構築した汎用視覚変換器であるDeformable Bi-level Routing Attention Transformer (DeBiFormer)を紹介する。 DeBiFormerは画像分類、オブジェクト検出、セマンティックセグメンテーションなど様々なコンピュータビジョンタスクで検証されており、その効果の強い証拠を提供している。

関連論文リスト

• DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
  Deformable Attention Transformer (DAT++)を提案する。 DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-09-04T08:26:47Z)
• BiFormer: Vision Transformer with Bi-Level Routing Attention [26.374724782056557]
  本稿では,コンテンツ認識を伴う計算のより柔軟なアロケーションを実現するために,バイレベルルーティングによる新しい動的スパースアテンションを提案する。 具体的には、クエリにおいて、無関係なキー値対をまず粗い領域レベルでフィルタリングし、残った候補領域の結合にきめ細かなトークン対注意を適用する。 提案された双方向ルーティングアテンションによって構築され、BiFormerと呼ばれる新しい汎用ビジョントランスフォーマーが提示される。
  論文  参考訳（メタデータ） (2023-03-15T17:58:46Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Learning to Learn Better for Video Object Segmentation [94.5753973590207]
  本稿では,SVOS の学習目標機能 (LLB) を強調する新しいフレームワークを提案する。 識別ラベル生成モジュール(DLGM)と適応融合モジュールを設計し,これらの課題に対処する。 提案手法は最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-12-05T09:10:34Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning [88.82371069668147]
  BatchFormerV2はより一般的なバッチトランスフォーマーモジュールである。 BatchFormerV2は、現在のDETRベースの検出方法を1.3%以上改善している。
  論文  参考訳（メタデータ） (2022-04-04T05:53:42Z)
• Vision Transformer with Deformable Attention [29.935891419574602]
  大規模な、時としてグローバルな受信フィールドは、CNNモデルよりも高い表現力を持つTransformerモデルを提供する。 本稿では,キーと値ペアの位置をデータ依存的に選択する,変形可能な新しい自己保持モジュールを提案する。 画像分類と重み付き予測の両方に変形性を考慮した一般的なバックボーンモデルであるDeformable Attention Transformerを提案する。
  論文  参考訳（メタデータ） (2022-01-03T08:29:01Z)
• Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers [78.26411729589526]
  トランスフォーマーアーキテクチャによる予測を説明する最初の方法を提案する。 本手法は,一様説明性に適応した既存手法よりも優れている。
  論文  参考訳（メタデータ） (2021-03-29T15:03:11Z)
• TransFG: A Transformer Architecture for Fine-grained Recognition [27.76159820385425]
  近年,視覚変換器 (ViT) は従来の分類課題において高い性能を示した。 我々は、トランスの生の注意重みをすべて注意マップに統合する新しいトランスベースのフレームワークTransFGを提案します。 類似サブクラスの特徴表現間の距離をさらに拡大するために、コントラスト損失が適用される。
  論文  参考訳（メタデータ） (2021-03-14T17:03:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。