論文の概要: Toward Open Vocabulary Aerial Object Detection with CLIP-Activated
Student-Teacher Learning
- arxiv url: http://arxiv.org/abs/2311.11646v2
- Date: Wed, 13 Mar 2024 13:42:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:58:23.349220
- Title: Toward Open Vocabulary Aerial Object Detection with CLIP-Activated
Student-Teacher Learning
- Title(参考訳): CLIPアクティベートによるオープンボキャブラリ空中物体検出に向けて
学生教師の学習
- Authors: Yan Li, Weiwei Guo, Xue Yang, Ning Liao, Dunyun He, Jiaqi Zhou,
Wenxian Yu
- Abstract要約: 本稿では,CLIP-activated students-Teacher Open-vocabulary Object DetectionフレームワークであるCastDetを提案する。
我々のアプローチは、新しいオブジェクトの提案だけでなく、分類も促進します。
実験の結果,CastDetはより優れた開語彙検出性能が得られた。
- 参考スコア(独自算出の注目度): 14.35268391981271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An increasingly massive number of remote-sensing images spurs the development
of extensible object detectors that can detect objects beyond training
categories without costly collecting new labeled data. In this paper, we aim to
develop open-vocabulary object detection (OVD) technique in aerial images that
scales up object vocabulary size beyond training data. The fundamental
challenges hinder open vocabulary object detection performance: the qualities
of the class-agnostic region proposals and the pseudo-labels that can
generalize well to novel object categories. To simultaneously generate
high-quality proposals and pseudo-labels, we propose CastDet, a CLIP-activated
student-teacher open-vocabulary object Detection framework. Our end-to-end
framework following the student-teacher self-learning mechanism employs the
RemoteCLIP model as an extra omniscient teacher with rich knowledge. By doing
so, our approach boosts not only novel object proposals but also
classification. Furthermore, we devise a dynamic label queue strategy to
maintain high-quality pseudo labels during batch training. We conduct extensive
experiments on multiple existing aerial object detection datasets, which are
set up for the OVD task. Experimental results demonstrate our CastDet achieving
superior open-vocabulary detection performance, e.g., reaching 40.5\% mAP,
which outperforms previous methods Detic/ViLD by 23.7%/14.9% on the VisDroneZSD
dataset. To our best knowledge, this is the first work to apply and develop the
open-vocabulary object detection technique for aerial images.
- Abstract(参考訳): 膨大な量のリモートセンシング画像が、新たなラベル付きデータを集めることなく、トレーニングカテゴリを超えてオブジェクトを検出する拡張可能なオブジェクト検出器の開発を加速させる。
本稿では,訓練データを超えるオブジェクトの語彙サイズを拡大する空画像におけるOVD(Open-vocabulary Object Detection)手法を提案する。
オープンな語彙的オブジェクト検出性能を阻害する根本的な課題は、クラスに依存しない領域の提案と、新しいオブジェクトカテゴリによく適応できる擬似ラベルの質である。
高品質な提案と擬似ラベルを同時に生成するために,CLIPをベースとしたオープン語彙オブジェクト検出フレームワークであるCastDetを提案する。
学生-教師の自己学習メカニズムに従うエンドツーエンドのフレームワークは、RemoteCLIPモデルを用いて、豊富な知識を持つ全能教師として活用する。
このアプローチは、新しいオブジェクトの提案だけでなく、分類も促進します。
さらに、バッチトレーニング中に高品質な擬似ラベルを維持するための動的ラベル待ち行列戦略を考案する。
我々は、OVDタスク用に設定された複数の既存の空中物体検出データセットについて広範な実験を行う。
実験の結果、VesDroneZSDデータセットでは、Detic/ViLDを23.7%/14.9%上回る40.5\% mAPに達した。
我々の知る限り、これは航空画像にオープン語彙オブジェクト検出技術を適用し、開発する最初の試みである。
関連論文リスト
- Exploring Robust Features for Few-Shot Object Detection in Satellite
Imagery [17.156864650143678]
従来の2段階アーキテクチャに基づく数発の物体検出器を開発した。
大規模な事前訓練モデルを使用して、クラス参照の埋め込みやプロトタイプを構築する。
課題と稀なオブジェクトを含む2つのリモートセンシングデータセットの評価を行う。
論文 参考訳(メタデータ) (2024-03-08T15:20:27Z) - Open-Vocabulary Camouflaged Object Segmentation [71.82644727907146]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入し,大規模複合シーンデータセット(textbfOVCamo)を構築した。
パラメータ固定CLIPに付加された強力な単一段開語彙下線下線下線下線下線下線下線下線下線を構築。
クラス意味知識の指導とエッジと奥行きからの視覚構造的手がかりの補足を統合する
論文 参考訳(メタデータ) (2023-11-19T06:00:39Z) - Improved Region Proposal Network for Enhanced Few-Shot Object Detection [23.871860648919593]
Few-shot Object Detection (FSOD) メソッドは、古典的なオブジェクト検出手法の限界に対する解決策として登場した。
FSODトレーニング段階において,未ラベルの新規物体を正のサンプルとして検出し,利用するための半教師付きアルゴリズムを開発した。
地域提案ネットワーク(RPN)の階層的サンプリング戦略の改善により,大規模オブジェクトに対するオブジェクト検出モデルの認識が向上する。
論文 参考訳(メタデータ) (2023-08-15T02:35:59Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳(メタデータ) (2023-07-07T04:03:48Z) - Open-Vocabulary Object Detection using Pseudo Caption Labels [3.260777306556596]
よりきめ細かいラベルは、新しいオブジェクトに関するより豊かな知識を引き出すために必要である、と我々は主張する。
分離されたVisualGenomeデータセットでトレーニングされた最良のモデルは、APが34.5、APrが30.6で、最先端のパフォーマンスに匹敵する。
論文 参考訳(メタデータ) (2023-03-23T05:10:22Z) - Exploiting Unlabeled Data with Vision and Language Models for Object
Detection [64.94365501586118]
堅牢で汎用的なオブジェクト検出フレームワークを構築するには、より大きなラベルスペースとより大きなトレーニングデータセットへのスケーリングが必要である。
本稿では,近年の視覚と言語モデルで利用可能なリッチなセマンティクスを利用して,未ラベル画像中のオブジェクトのローカライズと分類を行う手法を提案する。
生成した擬似ラベルの価値を,オープン語彙検出と半教師付きオブジェクト検出の2つのタスクで示す。
論文 参考訳(メタデータ) (2022-07-18T21:47:15Z) - Bridging the Gap between Object and Image-level Representations for
Open-Vocabulary Detection [54.96069171726668]
オープンボキャブラリ検出(OVD)で使用される2種類の弱いスーパービジョンには、事前訓練されたCLIPモデルと画像レベルの監視が含まれる。
本稿では,CLIPモデルから言語埋め込みをオブジェクト中心でアライメントすることでこの問題に対処することを提案する。
上記の2つの対物配向戦略の橋渡しを,新しい重み伝達関数を用いて行う。
論文 参考訳(メタデータ) (2022-07-07T17:59:56Z) - Incremental-DETR: Incremental Few-Shot Object Detection via
Self-Supervised Learning [60.64535309016623]
本稿では,DeTRオブジェクト検出器上での微調整および自己教師型学習によるインクリメンタル・デクリメンタル・デクリメンタル・デクリメンタル・オブジェクト検出を提案する。
まず,DeTRのクラス固有のコンポーネントを自己監督で微調整する。
さらに,DeTRのクラス固有のコンポーネントに知識蒸留を施した数発の微調整戦略を導入し,破滅的な忘れを伴わずに新しいクラスを検出するネットワークを奨励する。
論文 参考訳(メタデータ) (2022-05-09T05:08:08Z) - Open-Vocabulary DETR with Conditional Matching [86.1530128487077]
OV-DETRは、DETRに基づくオープンボキャブラリ検出器である。
クラス名や模範画像が与えられた任意のオブジェクトを検出できる。
芸術の現在の状態よりも、ささいな改善を達成している。
論文 参考訳(メタデータ) (2022-03-22T16:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。