論文の概要: DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection

• arxiv url: http://arxiv.org/abs/2404.09216v1
• Date: Sun, 14 Apr 2024 11:01:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 14:58:08.925149
• Title: DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection
• Title（参考訳）: DetCLIPv3:Versatile Generative Open-vocabulary Object Detectionを目指して
• Authors: Lewei Yao, Renjie Pi, Jianhua Han, Xiaodan Liang, Hang Xu, Wei Zhang, Zhenguo Li, Dan Xu,
• Abstract要約: DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
• 参考スコア（独自算出の注目度）: 111.68263493302499
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing open-vocabulary object detectors typically require a predefined set of categories from users, significantly confining their application scenarios. In this paper, we introduce DetCLIPv3, a high-performing detector that excels not only at both open-vocabulary object detection, but also generating hierarchical labels for detected objects. DetCLIPv3 is characterized by three core designs: 1. Versatile model architecture: we derive a robust open-set detection framework which is further empowered with generation ability via the integration of a caption head. 2. High information density data: we develop an auto-annotation pipeline leveraging visual large language model to refine captions for large-scale image-text pairs, providing rich, multi-granular object labels to enhance the training. 3. Efficient training strategy: we employ a pre-training stage with low-resolution inputs that enables the object captioner to efficiently learn a broad spectrum of visual concepts from extensive image-text paired data. This is followed by a fine-tuning stage that leverages a small number of high-resolution samples to further enhance detection performance. With these effective designs, DetCLIPv3 demonstrates superior open-vocabulary detection performance, \eg, our Swin-T backbone model achieves a notable 47.0 zero-shot fixed AP on the LVIS minival benchmark, outperforming GLIPv2, GroundingDINO, and DetCLIPv2 by 18.0/19.6/6.6 AP, respectively. DetCLIPv3 also achieves a state-of-the-art 19.7 AP in dense captioning task on VG dataset, showcasing its strong generative capability.
• Abstract（参考訳）: 既存のオープンボキャブラリオブジェクト検出器は、通常、ユーザから事前に定義されたカテゴリのセットを必要とし、アプリケーションのシナリオを著しく詰め込む。 本稿では,オープンボキャブラリオブジェクト検出だけでなく,検出対象の階層ラベルを生成する,高性能な検出器であるDetCLIPv3を紹介する。 DetCLIPv3は3つのコア設計によって特徴づけられる。 1. ヴァーサタイルモデルアーキテクチャ: キャプションヘッドの統合により生成能力を向上する堅牢なオープンセット検出フレームワークを導出する。 2. 高情報密度データ: 視覚的大言語モデルを利用して大規模画像テキストペアのキャプションを洗練させる自動アノテーションパイプラインを開発する。 3. 効率的なトレーニング戦略: オブジェクトキャプタが広い画像とテキストのペアデータから視覚概念の広い範囲を効率的に学習できるような,低解像度のインプットを備えた事前学習段階を採用する。 その後、少数の高分解能サンプルを活用して検出性能をさらに向上する微調整ステージが続く。 これらの効果的な設計により、DETCLIPv3はより優れたオープン語彙検出性能を示し、我々のSwin-Tバックボーンモデルは、LVISのミニバルベンチマークで47.0のゼロショット固定APを達成し、それぞれGLIPv2、GroundingDINO、DetCLIPv2を18.0/19.6/6 APで上回った。 DetCLIPv3はまた、VGデータセット上の高密度キャプションタスクにおける最先端の19.7 APも達成し、その強力な生成能力を示している。

関連論文リスト

• Exploring Robust Features for Few-Shot Object Detection in Satellite Imagery [17.156864650143678]
  従来の2段階アーキテクチャに基づく数発の物体検出器を開発した。 大規模な事前訓練モデルを使用して、クラス参照の埋め込みやプロトタイプを構築する。 課題と稀なオブジェクトを含む2つのリモートセンシングデータセットの評価を行う。
  論文  参考訳（メタデータ） (2024-03-08T15:20:27Z)
• Dual-Perspective Knowledge Enrichment for Semi-Supervised 3D Object Detection [55.210991151015534]
  本稿では, DPKE という新しい2次元知識豊か化手法を提案する。 我々のDPKEは、データパースペクティブと機能パースペクティブという2つの観点から、限られたトレーニングデータ、特にラベルなしデータの知識を豊かにしています。
  論文  参考訳（メタデータ） (2024-01-10T08:56:07Z)
• Weakly Supervised Open-Vocabulary Object Detection [31.605276665964787]
  本稿では、従来のWSODを拡張するために、弱教師付きオープン語彙オブジェクト検出フレームワーク、すなわちWSOVODを提案する。 これを実現するために、データセットレベルの特徴適応、画像レベルの有意なオブジェクトローカライゼーション、地域レベルの視覚言語アライメントを含む3つの重要な戦略を検討する。
  論文  参考訳（メタデータ） (2023-12-19T18:59:53Z)
• Toward Open Vocabulary Aerial Object Detection with CLIP-Activated Student-Teacher Learning [13.667326007851674]
  本稿では,CLIP-activated students-Teacher Open-vocabulary Object DetectionフレームワークであるCastDetを提案する。 我々のアプローチは、新しいオブジェクトの提案だけでなく、分類も促進します。 実験の結果,CastDetはより優れた開語彙検出性能が得られた。
  論文  参考訳（メタデータ） (2023-11-20T10:26:04Z)
• Multi-Modal Classifiers for Open-Vocabulary Object Detection [104.77331131447541]
  本論文の目的は,OVOD(Open-vocabulary Object Detection)である。 標準の2段階オブジェクト検出器アーキテクチャを採用する。 言語記述、画像例、これら2つの組み合わせの3つの方法を探究する。
  論文  参考訳（メタデータ） (2023-06-08T18:31:56Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)
• Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection [54.96069171726668]
  オープンボキャブラリ検出(OVD)で使用される2種類の弱いスーパービジョンには、事前訓練されたCLIPモデルと画像レベルの監視が含まれる。 本稿では,CLIPモデルから言語埋め込みをオブジェクト中心でアライメントすることでこの問題に対処することを提案する。 上記の2つの対物配向戦略の橋渡しを,新しい重み伝達関数を用いて行う。
  論文  参考訳（メタデータ） (2022-07-07T17:59:56Z)
• Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
  ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。 現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T14:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。