Fugu-MT 論文翻訳(概要): CoDet: Co-Occurrence Guided Region-Word Alignment for Open-Vocabulary Object Detection

論文の概要: CoDet: Co-Occurrence Guided Region-Word Alignment for Open-Vocabulary Object Detection

arxiv url: http://arxiv.org/abs/2310.16667v1
Date: Wed, 25 Oct 2023 14:31:02 GMT
ステータス: 処理完了
システム内更新日: 2023-10-26 14:23:13.533356
Title: CoDet: Co-Occurrence Guided Region-Word Alignment for Open-Vocabulary Object Detection
Title（参考訳）: CoDet: オープン語彙オブジェクト検出のための領域単語アライメント
Authors: Chuofan Ma, Yi Jiang, Xin Wen, Zehuan Yuan, Xiaojuan Qi
Abstract要約: CoDetはオープン語彙オブジェクト検出のためのオブジェクトレベルの視覚言語表現を学習するための新しいアプローチである。共有概念に言及するイメージをキャプションにグループ化することにより、共有概念に対応するオブジェクトは、高い共起性を示す。 CoDetは、オープン語彙検出において優れたパフォーマンスと魅力的なスケーラビリティを持っている。
参考スコア（独自算出の注目度）: 78.0010542552784
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deriving reliable region-word alignment from image-text pairs is critical to learn object-level vision-language representations for open-vocabulary object detection. Existing methods typically rely on pre-trained or self-trained vision-language models for alignment, which are prone to limitations in localization accuracy or generalization capabilities. In this paper, we propose CoDet, a novel approach that overcomes the reliance on pre-aligned vision-language space by reformulating region-word alignment as a co-occurring object discovery problem. Intuitively, by grouping images that mention a shared concept in their captions, objects corresponding to the shared concept shall exhibit high co-occurrence among the group. CoDet then leverages visual similarities to discover the co-occurring objects and align them with the shared concept. Extensive experiments demonstrate that CoDet has superior performances and compelling scalability in open-vocabulary detection, e.g., by scaling up the visual backbone, CoDet achieves 37.0 $\text{AP}^m_{novel}$ and 44.7 $\text{AP}^m_{all}$ on OV-LVIS, surpassing the previous SoTA by 4.2 $\text{AP}^m_{novel}$ and 9.8 $\text{AP}^m_{all}$. Code is available at https://github.com/CVMI-Lab/CoDet.
Abstract（参考訳）: 画像とテキストのペアから信頼できる領域単語のアライメントを導出することは、オープン語彙オブジェクト検出のためのオブジェクトレベルの視覚言語表現を学ぶために重要である。既存の手法は通常、アライメントのための事前訓練または自己訓練された視覚言語モデルに依存しており、これはローカライゼーションの精度や一般化の能力に制限がある。本稿では,領域単語のアライメントを共起オブジェクト発見問題として再構成することで,事前に整列された視覚言語空間への依存を克服する新しいアプローチであるCoDetを提案する。直感的には,そのキャプションで共有概念を言及する画像をグループ化することにより,共有概念に対応するオブジェクトは,グループ間で高い共起性を示す。 CoDetは視覚的類似性を活用して、共起オブジェクトを発見し、共有コンセプトと整合させる。大規模な実験では、CoDetは視覚的バックボーンをスケールアップすることで37.0$\text{AP}^m_{novel}$と44.7$\text{AP}^m_{all}$をOV-LVIS上で達成し、以前のSoTAを4.2$\text{AP}^m_{novel}$と9.8$\text{AP}^m_{all}$に上回った。コードはhttps://github.com/CVMI-Lab/CoDet.comで入手できる。

論文の概要: CoDet: Co-Occurrence Guided Region-Word Alignment for Open-Vocabulary Object Detection

関連論文リスト