論文の概要: Simple Image-level Classification Improves Open-vocabulary Object Detection

• arxiv url: http://arxiv.org/abs/2312.10439v2
• Date: Tue, 19 Dec 2023 11:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 12:17:33.817620
• Title: Simple Image-level Classification Improves Open-vocabulary Object Detection
• Title（参考訳）: 単純画像レベルの分類によるオープン語彙オブジェクト検出の改善
• Authors: Ruohuan Fang, Guansong Pang, Xiao Bai
• Abstract要約: Open-Vocabulary Object Detection (OVOD) は、検出モデルが訓練された与えられたベースカテゴリのセットを超えて、新しいオブジェクトを検出することを目的としている。 近年のOVOD法は,CLIPなどの画像レベルの事前学習型視覚言語モデル(VLM)を,地域レベルの知識蒸留,地域レベルの学習,地域レベルの事前学習といった領域レベルのオブジェクト検出タスクに適応させることに重点を置いている。 これらの手法は、地域視覚概念の認識において顕著な性能を示してきたが、VLMの強力なグローバルシーン理解能力を活用するには弱い。
• 参考スコア（独自算出の注目度）: 27.131298903486474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-Vocabulary Object Detection (OVOD) aims to detect novel objects beyond a given set of base categories on which the detection model is trained. Recent OVOD methods focus on adapting the image-level pre-trained vision-language models (VLMs), such as CLIP, to a region-level object detection task via, eg., region-level knowledge distillation, regional prompt learning, or region-text pre-training, to expand the detection vocabulary. These methods have demonstrated remarkable performance in recognizing regional visual concepts, but they are weak in exploiting the VLMs' powerful global scene understanding ability learned from the billion-scale image-level text descriptions. This limits their capability in detecting hard objects of small, blurred, or occluded appearance from novel/base categories, whose detection heavily relies on contextual information. To address this, we propose a novel approach, namely Simple Image-level Classification for Context-Aware Detection Scoring (SIC-CADS), to leverage the superior global knowledge yielded from CLIP for complementing the current OVOD models from a global perspective. The core of SIC-CADS is a multi-modal multi-label recognition (MLR) module that learns the object co-occurrence-based contextual information from CLIP to recognize all possible object categories in the scene. These image-level MLR scores can then be utilized to refine the instance-level detection scores of the current OVOD models in detecting those hard objects. This is verified by extensive empirical results on two popular benchmarks, OV-LVIS and OV-COCO, which show that SIC-CADS achieves significant and consistent improvement when combined with different types of OVOD models. Further, SIC-CADS also improves the cross-dataset generalization ability on Objects365 and OpenImages. The code is available at https://github.com/mala-lab/SIC-CADS.
• Abstract（参考訳）: open-vocabulary object detection (ovod) は、検出モデルをトレーニングしたベースカテゴリのセットを超えて、新しいオブジェクトを検出することを目的としている。 近年のOVOD法は,CLIPなどの画像レベルの事前学習型視覚言語モデル(VLM)を,領域レベルのオブジェクト検出タスクに適応させることに重点を置いている。 領域レベルの知識蒸留,地域即興学習,あるいは地域テキスト事前学習により,検出語彙を拡張できる。 これらの手法は、地域視覚概念の認識において顕著な性能を示したが、画像レベルの10億のテキスト記述から学んだ、vlmsの強力なグローバルシーン理解能力の活用には弱い。 これにより、コンテキスト情報に大きく依存する新規/ベースカテゴリから、小さく、ぼやけた、あるいは隠された外観のハードオブジェクトを検出する能力を制限する。 そこで本研究では,CLIPから得られる優れたグローバル知識を活用し,現在のOVODモデルをグローバルな視点から補完するための,SIC-CADS(Simple Image-level Classification for Context-Aware Detection Scoring)を提案する。 SIC-CADSのコアはマルチモーダルマルチラベル認識(MLR)モジュールで、CLIPからオブジェクトの共起に基づくコンテキスト情報を学び、シーン内の全ての可能なオブジェクトカテゴリを認識する。 これらの画像レベルのmlrスコアは、これらのハードオブジェクトを検出する際に現在のovodモデルのインスタンスレベル検出スコアを洗練するために利用することができる。 これは、OV-LVISとOV-COCOという2つの人気のあるベンチマークの広範な実験結果によって検証され、SIC-CADSとOVODモデルを組み合わせると、顕著で一貫した改善が達成されることを示した。 さらに、SIC-CADSはObjects365とOpenImageのクロスデータセットの一般化能力も改善した。 コードはhttps://github.com/mala-lab/sic-cadsで入手できる。

関連論文リスト

• Learning Background Prompts to Discover Implicit Knowledge for Open Vocabulary Object Detection [101.15777242546649]
  Open vocabulary Object Detection (OVD) は、ベースと新規の両方のカテゴリからオブジェクトを認識できる最適なオブジェクト検出器を求めることを目的としている。 近年の進歩は、知識蒸留を利用して、事前訓練された大規模視覚言語モデルからオブジェクト検出のタスクに洞察力のある知識を伝達している。 本稿では,暗黙的背景知識を活用するための学習バックグラウンドプロンプトを提案するため,LBPと呼ばれる新しいOVDフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T17:32:26Z)
• Exploring Interactive Semantic Alignment for Efficient HOI Detection with Vision-language Model [3.3772986620114387]
  ISA-HOIはCLIPからの知識を広範囲に活用し,視覚的特徴とテキスト的特徴の対話的意味論を整合させる。 本手法は, HICO-DETとV-COCOのベンチマークにおいて, トレーニングエポックがはるかに少なく, ゼロショット環境下での最先端性能を向上する。
  論文  参考訳（メタデータ） (2024-04-19T07:24:32Z)
• Weakly Supervised Open-Vocabulary Object Detection [31.605276665964787]
  本稿では、従来のWSODを拡張するために、弱教師付きオープン語彙オブジェクト検出フレームワーク、すなわちWSOVODを提案する。 これを実現するために、データセットレベルの特徴適応、画像レベルの有意なオブジェクトローカライゼーション、地域レベルの視覚言語アライメントを含む3つの重要な戦略を検討する。
  論文  参考訳（メタデータ） (2023-12-19T18:59:53Z)
• Exploiting CLIP for Zero-shot HOI Detection Requires Knowledge Distillation at Multiple Levels [52.50670006414656]
  大規模事前学習型視覚言語モデルであるCLIPを,多段階の知識蒸留に利用した。 私たちのモデルをトレーニングするために、CLIPを使用して、グローバルイメージとローカルユニオン領域の両方のHOIスコアを生成する。 このモデルは、完全な教師付きおよび弱い教師付き手法に匹敵する強力な性能を達成する。
  論文  参考訳（メタデータ） (2023-09-10T16:27:54Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
  Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。 本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。 我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
  論文  参考訳（メタデータ） (2023-03-29T18:07:25Z)
• Semi-Supervised Cross-Modal Salient Object Detection with U-Structure Networks [18.12933868289846]
  言語情報を視覚に基づくU-Structureネットワークに組み込むことにより,適切な物体検出作業を実現する。 本稿では,視覚的特徴と言語的特徴を組み合わせるために,効率的なクロスモーダル自己認識(eCMSA)と呼ばれる新しいモジュールを提案する。 ラベル付けの負担を軽減するため,画像キャプションモデルをトレーニングし,半教師付き学習手法を用いた。
  論文  参考訳（メタデータ） (2022-08-08T18:39:37Z)
• Spatial Likelihood Voting with Self-Knowledge Distillation for Weakly Supervised Object Detection [54.24966006457756]
  自己知識蒸留ネットワーク(SLV-SDネット)を用いたWSODフレームワークを提案する。 SLV-SD Netは、境界ボックスアノテーションなしで領域提案のローカライゼーションを収束させる。 PASCAL VOC 2007/2012およびMS-COCOデータセットの実験は、SLV-SD Netの優れた性能を示している。
  論文  参考訳（メタデータ） (2022-04-14T11:56:19Z)
• Learning Open-World Object Proposals without Learning to Classify [110.30191531975804]
  本研究では,各領域の位置と形状がどの接地トラストオブジェクトとどのように重なり合うかによって,各領域の目的性を純粋に推定する,分類不要なオブジェクトローカライゼーションネットワークを提案する。 この単純な戦略は一般化可能な対象性を学び、クロスカテゴリの一般化に関する既存の提案より優れている。
  論文  参考訳（メタデータ） (2021-08-15T14:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。