論文の概要: BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning

• arxiv url: http://arxiv.org/abs/2204.01254v1
• Date: Mon, 4 Apr 2022 05:53:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 13:09:30.432751
• Title: BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning
• Title（参考訳）: BatchFormerV2:Dense Representation Learningのためのサンプル関係を探る
• Authors: Zhi Hou, Baosheng Yu, Chaoyue Wang, Yibing Zhan, Dacheng Tao
• Abstract要約: BatchFormerV2はより一般的なバッチトランスフォーマーモジュールである。 BatchFormerV2は、現在のDETRベースの検出方法を1.3%以上改善している。
• 参考スコア（独自算出の注目度）: 88.82371069668147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms have been very popular in deep neural networks, where the Transformer architecture has achieved great success in not only natural language processing but also visual recognition applications. Recently, a new Transformer module, applying on batch dimension rather than spatial/channel dimension, i.e., BatchFormer [18], has been introduced to explore sample relationships for overcoming data scarcity challenges. However, it only works with image-level representations for classification. In this paper, we devise a more general batch Transformer module, BatchFormerV2, which further enables exploring sample relationships for dense representation learning. Specifically, when applying the proposed module, it employs a two-stream pipeline during training, i.e., either with or without a BatchFormerV2 module, where the batchformer stream can be removed for testing. Therefore, the proposed method is a plug-and-play module and can be easily integrated into different vision Transformers without any extra inference cost. Without bells and whistles, we show the effectiveness of the proposed method for a variety of popular visual recognition tasks, including image classification and two important dense prediction tasks: object detection and panoptic segmentation. Particularly, BatchFormerV2 consistently improves current DETR-based detection methods (e.g., DETR, Deformable-DETR, Conditional DETR, and SMCA) by over 1.3%. Code will be made publicly available.
• Abstract（参考訳）: 深いニューラルネットワークでは注意機構が非常に人気があり、Transformerアーキテクチャは自然言語処理だけでなく視覚認識アプリケーションでも大きな成功を収めている。 近年,空間・チャネル次元ではなくバッチ次元に適用する新しいトランスフォーマモジュールである batchformer [18] が,データの不足を克服するためのサンプル関係を探求するために導入された。 しかし、分類のための画像レベルの表現のみで動作する。 本稿では,より一般的なバッチ変換モジュールである batchformerv2 を考案する。 具体的には、提案されたモジュールを適用する際には、トレーニング中に2ストリームパイプライン、すなわちBatchFormerV2モジュールで、テストのためにバッチフォーマーストリームを削除することができる。 そこで,提案手法はプラグアンドプレイモジュールであり,余分な推論コストを伴わずに異なる視覚変換器に容易に統合できる。 ベルとホイッスルがなければ,画像分類や2つの重要な密集予測タスクである物体検出と汎視的セグメンテーションを含む,様々な視覚的タスクに対する提案手法の有効性を示す。 特に、BatchFormerV2は、現在のDETRベースの検出方法(DeTR、Deformable-DETR、Conditional DETR、SMCA)を1.3%以上改善している。 コードは公開される予定だ。

関連論文リスト

• With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning [47.96387857237473]
  我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。 私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。 本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
  論文  参考訳（メタデータ） (2023-08-23T18:53:00Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
  識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。 提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
  論文  参考訳（メタデータ） (2022-12-28T03:45:56Z)
• Rethinking Batch Sample Relationships for Data Representation: A Batch-Graph Transformer based Approach [16.757917001089762]
  ミニバッチサンプル表現のための単純で柔軟なバッチグラフ変換器(BGFormer)を設計する。 視覚と意味の両方の観点から、画像サンプルの関係を深く捉えている。 4つの一般的なデータセットに対する大規模な実験により、提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-11-19T08:46:50Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification [16.757917001089762]
  ほとんどショットの分類は、非常に限られたサンプルを使用して、目に見えないクラスを認識することを目的としていない。 本稿では,この2つの課題を統一的なQuery-Support TransFormerモデルにより同時にモデル化できることを示す。 4つの一般的なデータセットの実験は、提案したQSFormerの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2022-08-26T01:53:23Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• TransReID: Transformer-based Object Re-Identification [20.02035310635418]
  Vision Transformer (ViT) は、オブジェクト再識別(ReID)タスクのための純粋なトランスフォーマーベースのモデルである。 いくつかの適応により、強いベースラインのViT-BoTは、ViTをバックボーンとして構成される。 本稿では、TransReIDと呼ばれる純粋なトランスフォーマーフレームワークを提案し、これはReID研究に純粋なトランスフォーマーを用いた最初の研究である。
  論文  参考訳（メタデータ） (2021-02-08T17:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。