論文の概要: Detection-Oriented Image-Text Pretraining for Open-Vocabulary Detection

• arxiv url: http://arxiv.org/abs/2310.00161v1
• Date: Fri, 29 Sep 2023 21:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 06:12:42.519759
• Title: Detection-Oriented Image-Text Pretraining for Open-Vocabulary Detection
• Title（参考訳）: オープンボキャブラリ検出のための画像テキスト事前学習
• Authors: Dahun Kim, Anelia Angelova, Weicheng Kuo
• Abstract要約: 本稿では,検出指向画像テキスト事前学習に基づく新しいオープン語彙検出手法を提案する。 一般的なLVISオープン語彙検出ベンチマークでは、一般的なViT-Lバックボーンを用いて40.4マスクAP$_r$の新たな状態を設定する。
• 参考スコア（独自算出の注目度）: 44.03247177599605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new open-vocabulary detection approach based on detection-oriented image-text pretraining to bridge the gap between image-level pretraining and open-vocabulary object detection. At the pretraining phase, we replace the commonly used classification architecture with the detector architecture, which better serves the region-level recognition needs of detection by enabling the detector heads to learn from noisy image-text pairs. Using only standard contrastive loss and no pseudo-labeling, our approach is a simple yet effective extension of the contrastive learning method to learn emergent object-semantic cues. In addition, we propose a shifted-window learning approach upon window attention to make the backbone representation more robust, translation-invariant, and less biased by the window pattern. On the popular LVIS open-vocabulary detection benchmark, our approach sets a new state of the art of 40.4 mask AP$_r$ using the common ViT-L backbone, significantly outperforming the best existing approach by +6.5 mask AP$_r$ at system level. On the COCO benchmark, we achieve very competitive 40.8 novel AP without pseudo labeling or weak supervision. In addition, we evaluate our approach on the transfer detection setup, where ours outperforms the baseline significantly. Visualization reveals emerging object locality from the pretraining recipes compared to the baseline. Code and models will be publicly released.
• Abstract（参考訳）: 本稿では,画像レベルのプリトレーニングとオープンボキャブラリオブジェクト検出のギャップを埋めるために,検出指向画像テキストプリトレーニングに基づく新しいオープンボキャブラリ検出手法を提案する。 事前学習の段階では,一般的な分類アーキテクチャを検出器アーキテクチャに置き換えることにより,検出ヘッドがノイズの多い画像テキストペアから学習することを可能にすることにより,検出領域レベルの認識ニーズを改善する。 標準のコントラスト損失と擬似ラベルを使わずに、このアプローチは、創発的なオブジェクト・セマンティクスの手がかりを学ぶためのコントラスト学習法の単純かつ効果的な拡張である。 さらに,ウィンドウに注意を向けたシフトウィンドウ学習アプローチを提案し,バックボーン表現をより堅牢で,翻訳不変で,ウィンドウパターンに偏りを少なくする。 一般的なLVISオープン語彙検出ベンチマークでは、一般的なViT-Lバックボーンを用いて40.4マスクAP$_r$の新たな状態を設定し、システムレベルでは+6.5マスクAP$_r$よりも優れた既存のアプローチを実現している。 COCOベンチマークでは、擬似ラベル付けや弱い監督なしに、非常に競争力のある40.8の新規APを達成する。 さらに,転送検出装置に対する我々のアプローチを評価し,ベースラインを著しく上回る結果を得た。 可視化は、ベースラインと比較して事前学習されたレシピから出現するオブジェクトの局所性を明らかにする。 コードとモデルは公開される予定だ。

関連論文リスト

• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Simple Image-level Classification Improves Open-vocabulary Object Detection [27.131298903486474]
  Open-Vocabulary Object Detection (OVOD) は、検出モデルが訓練された与えられたベースカテゴリのセットを超えて、新しいオブジェクトを検出することを目的としている。 近年のOVOD法は,CLIPなどの画像レベルの事前学習型視覚言語モデル(VLM)を,地域レベルの知識蒸留,地域レベルの学習,地域レベルの事前学習といった領域レベルのオブジェクト検出タスクに適応させることに重点を置いている。 これらの手法は、地域視覚概念の認識において顕著な性能を示してきたが、VLMの強力なグローバルシーン理解能力を活用するには弱い。
  論文  参考訳（メタデータ） (2023-12-16T13:06:15Z)
• Contrastive Feature Masking Open-Vocabulary Vision Transformer [44.03247177599605]
  コントラスト特徴マスキングビジョントランス(CFM-ViT) Open-vocabulary Object Detection (OVD)のための画像と領域レベルの同時学習を実現する画像テキスト事前学習手法
  論文  参考訳（メタデータ） (2023-09-02T01:12:48Z)
• Region-Aware Pretraining for Open-Vocabulary Object Detection with Vision Transformers [44.03247177599605]
  地域対応オープンボキャブラリビジョントランス(RO-ViT) 画像レベルの事前学習とオープン語彙オブジェクト検出のギャップを埋めるために、コントラスト的な画像テキスト事前学習のレシピを提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:53:29Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)
• Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection [54.96069171726668]
  オープンボキャブラリ検出(OVD)で使用される2種類の弱いスーパービジョンには、事前訓練されたCLIPモデルと画像レベルの監視が含まれる。 本稿では,CLIPモデルから言語埋め込みをオブジェクト中心でアライメントすることでこの問題に対処することを提案する。 上記の2つの対物配向戦略の橋渡しを,新しい重み伝達関数を用いて行う。
  論文  参考訳（メタデータ） (2022-07-07T17:59:56Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。