論文の概要: Enhancing Novel Object Detection via Cooperative Foundational Models
- arxiv url: http://arxiv.org/abs/2311.12068v2
- Date: Wed, 22 Nov 2023 04:13:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 12:05:59.732000
- Title: Enhancing Novel Object Detection via Cooperative Foundational Models
- Title(参考訳): 協調基礎モデルによる新規物体検出の促進
- Authors: Rohit Bharadwaj, Muzammal Naseer, Salman Khan, Fahad Shahbaz Khan
- Abstract要約: 本稿では,既存のクローズドセット検出器をオープンセット検出器に変換する新しい手法を提案する。
私たちは、新しいクラスに対して7.2$ textAP_50 のマージンで現在の最先端を越えています。
- 参考スコア(独自算出の注目度): 75.30243629533277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we address the challenging and emergent problem of novel object
detection (NOD), focusing on the accurate detection of both known and novel
object categories during inference. Traditional object detection algorithms are
inherently closed-set, limiting their capability to handle NOD. We present a
novel approach to transform existing closed-set detectors into open-set
detectors. This transformation is achieved by leveraging the complementary
strengths of pre-trained foundational models, specifically CLIP and SAM,
through our cooperative mechanism. Furthermore, by integrating this mechanism
with state-of-the-art open-set detectors such as GDINO, we establish new
benchmarks in object detection performance. Our method achieves 17.42 mAP in
novel object detection and 42.08 mAP for known objects on the challenging LVIS
dataset. Adapting our approach to the COCO OVD split, we surpass the current
state-of-the-art by a margin of 7.2 $ \text{AP}_{50} $ for novel classes. Our
code is available at
https://github.com/rohit901/cooperative-foundational-models .
- Abstract(参考訳): 本稿では,新規物体検出(nod)の難解かつ創発的な問題に対処し,推論中の未知物体と新規物体のカテゴリの正確な検出に焦点をあてる。
従来の物体検出アルゴリズムは本質的にクローズドセットであり、NODを扱う能力を制限する。
本稿では,既存の閉集合検出器を開集合検出器に変換する新しい手法を提案する。
この変換は、事前訓練された基礎モデル、特にCLIPとSAMの相補的な強みを協調的なメカニズムを通じて活用することで達成される。
さらに,この機構をGDINOなどの最先端のオープンセット検出器と統合することにより,物体検出性能の新たなベンチマークを確立する。
LVISデータセット上の既知のオブジェクトに対して,新しいオブジェクト検出において17.42mAP,42.08mAPを達成する。
COCO OVDの分割にアプローチを適用すると、新しいクラスに対する7.2ドル \text{AP}_{50} のマージンで現在の最先端技術を上回っます。
私たちのコードはhttps://github.com/rohit901/cooperative-foundational-modelsで利用可能です。
関連論文リスト
- Open World Object Detection in the Era of Foundation Models [53.683963161370585]
5つの実世界のアプリケーション駆動データセットを含む新しいベンチマークを導入する。
本稿では,オープンワールドのための新しいオブジェクト検出モデル(FOMO)を提案する。
論文 参考訳(メタデータ) (2023-12-10T03:56:06Z) - Incremental Object-Based Novelty Detection with Feedback Loop [20.74029775537497]
オブジェクトベースのノベルティ検出(ND)は、トレーニング中に見られるクラスに属さない未知のオブジェクトを特定することを目的としている。
従来のNDアプローチでは、事前訓練されたオブジェクト検出出力の1回のオフラインポスト処理に重点を置いていた。
本研究では,予測された出力に対して人間のフィードバックを要求できることを前提として,オブジェクトベースのNDのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-15T14:46:20Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set
Object Detection [61.36980301165925]
そこで我々は,Transformer-based detector DINO と接地事前学習を併用したオープンセット型物体検出器である Grounding DINO を提案する。
オープンセットオブジェクト検出の鍵となる解決策は、オープンセットの概念一般化のためのクローズドセット検出器に言語を導入することである。
DINOはCOCO、LVIS、ODinW、RefCOCO/+/gのベンチマークを含む3つの設定で非常によく機能する。
論文 参考訳(メタデータ) (2023-03-09T18:52:16Z) - CAT: LoCalization and IdentificAtion Cascade Detection Transformer for
Open-World Object Detection [17.766859354014663]
オープンワールドオブジェクト検出には、既知のオブジェクトと未知のオブジェクトの両方を検出するために、既知のオブジェクトのデータからトレーニングされたモデルが必要である。
CAT: LoCalization and IdentificAtion Cascade Detection Transformerを提案する。
我々のモデルはOWOD, インクリメンタルオブジェクト検出(IOD), オープンセット検出といったタスクにおけるすべての指標において, 最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-01-05T09:11:16Z) - Incremental-DETR: Incremental Few-Shot Object Detection via
Self-Supervised Learning [60.64535309016623]
本稿では,DeTRオブジェクト検出器上での微調整および自己教師型学習によるインクリメンタル・デクリメンタル・デクリメンタル・デクリメンタル・オブジェクト検出を提案する。
まず,DeTRのクラス固有のコンポーネントを自己監督で微調整する。
さらに,DeTRのクラス固有のコンポーネントに知識蒸留を施した数発の微調整戦略を導入し,破滅的な忘れを伴わずに新しいクラスを検出するネットワークを奨励する。
論文 参考訳(メタデータ) (2022-05-09T05:08:08Z) - Towards Open-Set Object Detection and Discovery [38.81806249664884]
我々は新しいタスク、すなわちOpen-Set Object Detection and Discovery(OSODD)を提案する。
本稿では、まずオープンセットオブジェクト検出器を用いて、未知のオブジェクトと未知のオブジェクトの両方を予測する2段階の手法を提案する。
そこで,予測対象を教師なしで表現し,未知対象の集合から新たなカテゴリを発見する。
論文 参考訳(メタデータ) (2022-04-12T08:07:01Z) - Multi-View Correlation Distillation for Incremental Object Detection [12.536640582318949]
我々は,新しいtextbfMulti-textbfView textbfCorrelation textbfDistillation (MVCD) を用いたインクリメンタルオブジェクト検出法を提案する。
論文 参考訳(メタデータ) (2021-07-05T04:36:33Z) - Slender Object Detection: Diagnoses and Improvements [74.40792217534]
本稿では,超高アスペクト比,すなわちtextbfslender オブジェクトの特定タイプの検出について検討する。
古典的物体検出法では、細い物体に対してのみ評価される場合、COCO上の18.9%のmAPの劇的な低下が観察される。
論文 参考訳(メタデータ) (2020-11-17T09:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。