論文の概要: Prompt-Guided Transformers for End-to-End Open-Vocabulary Object Detection

• arxiv url: http://arxiv.org/abs/2303.14386v1
• Date: Sat, 25 Mar 2023 07:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 20:00:35.527325
• Title: Prompt-Guided Transformers for End-to-End Open-Vocabulary Object Detection
• Title（参考訳）: エンドツーエンドオープン語彙オブジェクト検出のためのPrompt-Guided Transformer
• Authors: Hwanjun Song, Jihwan Bang
• Abstract要約: Prompt-OVDはオープン語彙オブジェクト検出のための効率的かつ効果的なフレームワークである。 CLIPからのクラス埋め込みをプロンプトとして使用し、Transformerデコーダを誘導して、ベースクラスと新規クラスのオブジェクトを検出する。 OV-COCOおよびOVLVISデータセットに関する実験により、Prompt-OVDが21.2倍高速な推論速度を達成することが示された。
• 参考スコア（独自算出の注目度）: 10.482805367361818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-OVD is an efficient and effective framework for open-vocabulary object detection that utilizes class embeddings from CLIP as prompts, guiding the Transformer decoder to detect objects in both base and novel classes. Additionally, our novel RoI-based masked attention and RoI pruning techniques help leverage the zero-shot classification ability of the Vision Transformer-based CLIP, resulting in improved detection performance at minimal computational cost. Our experiments on the OV-COCO and OVLVIS datasets demonstrate that Prompt-OVD achieves an impressive 21.2 times faster inference speed than the first end-to-end open-vocabulary detection method (OV-DETR), while also achieving higher APs than four two-stage-based methods operating within similar inference time ranges. Code will be made available soon.
• Abstract（参考訳）: Prompt-OVDはオープン語彙オブジェクト検出のための効率的かつ効果的なフレームワークで、CLIPからのクラス埋め込みをプロンプトとして利用し、Transformerデコーダを使用してベースクラスと新規クラスのオブジェクトを検出する。 さらに、新しいRoIベースのマスキングとRoIプルーニング技術は、Vision TransformerベースのCLIPのゼロショット分類能力を活用するのに役立つため、最小計算コストで検出性能が向上する。 OV-COCOおよびOVLVISデータセットを用いた実験により、Prompt-OVDは第1のエンドツーエンドオープン語彙検出法(OV-DETR)よりも21.2倍高速で、同時に、類似の推論時間範囲内で動作する4つの2段階ベース手法よりも高いAPを実現することが示された。 コードはもうすぐ利用可能になる。

関連論文リスト

• C2P-CLIP: Injecting Category Common Prompt in CLIP to Enhance Generalization in Deepfake Detection [98.34703790782254]
  本稿では、カテゴリ共通プロンプトCLIPを紹介し、カテゴリ共通プロンプトをテキストエンコーダに統合し、カテゴリ関連概念をイメージエンコーダに注入する。 提案手法は,テスト中に追加パラメータを導入することなく,元のCLIPと比較して検出精度が12.41%向上した。
  論文  参考訳（メタデータ） (2024-08-19T02:14:25Z)
• OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer [63.141027246418]
  本稿では,OVLW-DETR(Open-Vocabulary Light-Weighted Detection Transformer)を提案する。 本稿では,視覚言語モデル(VLM)からオブジェクト検出器への知識伝達を簡易なアライメントで行うエンド・ツー・エンドのトレーニングレシピを提案する。 実験により,提案手法は標準ゼロショットLVISベンチマークにおいて,既存の実時間開語彙検出器よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-15T12:15:27Z)
• DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
  DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:01:44Z)
• OpenSD: Unified Open-Vocabulary Segmentation and Detection [24.08879095731279]
  オープン語彙のセグメンテーションと検出タスクを処理するために,OpenSDと略されるユニバーサルトランスフォーマーベースのフレームワークを提案する。 エンドツーエンドのセグメンテーションと検出にCLIPをよりよく活用するために、語彙内ドメインと語彙外ドメインを扱うための2つの分類器を提案する。 その結果,OpenSDはクローズド・オープン・ボキャブラリ設定とオープン・ボキャブラリ設定の両方において,最先端のオープン・ボキャブラリセグメンテーションと検出方法よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-10T08:51:34Z)
• Toward Open Vocabulary Aerial Object Detection with CLIP-Activated Student-Teacher Learning [13.667326007851674]
  本稿では,CLIP-activated students-Teacher Open-vocabulary Object DetectionフレームワークであるCastDetを提案する。 我々のアプローチは、新しいオブジェクトの提案だけでなく、分類も促進します。 実験の結果,CastDetはより優れた開語彙検出性能が得られた。
  論文  参考訳（メタデータ） (2023-11-20T10:26:04Z)
• Fine-grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary Object Detection [87.39089806069707]
  オープン語彙検出(VTP-OVD)のための微粒なビジュアルテキストプロンプト駆動型自己学習パラダイムを提案する。 適応段階では、学習可能なテキストプロンプトを用いて細粒度アライメントを可能とし、補助的なピクセルワイズ予測タスクを解決する。 実験の結果,COCO の未確認クラスでは,31.5% mAP など,オープン語彙オブジェクト検出の最先端性能が得られた。
  論文  参考訳（メタデータ） (2022-11-02T03:38:02Z)
• Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
  視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。 本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。 DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
  論文  参考訳（メタデータ） (2022-06-14T13:22:19Z)
• Open-Vocabulary DETR with Conditional Matching [86.1530128487077]
  OV-DETRは、DETRに基づくオープンボキャブラリ検出器である。 クラス名や模範画像が与えられた任意のオブジェクトを検出できる。 芸術の現在の状態よりも、ささいな改善を達成している。
  論文  参考訳（メタデータ） (2022-03-22T16:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。