論文の概要: MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection

• arxiv url: http://arxiv.org/abs/2407.21465v1
• Date: Wed, 31 Jul 2024 09:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:12:32.133209
• Title: MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection
• Title（参考訳）: MarvelOVD:ロバストなオープン語彙オブジェクト検出のためのオブジェクト認識と視覚言語モデル
• Authors: Kuo Wang, Lechao Cheng, Weikai Chen, Pingping Zhang, Liang Lin, Fan Zhou, Guanbin Li,
• Abstract要約: 開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 107.15164718585666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from pseudo-labels that generated with VLMs~(Vision Language Models) has been shown as a promising solution to assist open vocabulary detection (OVD) in recent studies. However, due to the domain gap between VLM and vision-detection tasks, pseudo-labels produced by the VLMs are prone to be noisy, while the training design of the detector further amplifies the bias. In this work, we investigate the root cause of VLMs' biased prediction under the OVD context. Our observations lead to a simple yet effective paradigm, coded MarvelOVD, that generates significantly better training targets and optimizes the learning procedure in an online manner by marrying the capability of the detector with the vision-language model. Our key insight is that the detector itself can act as a strong auxiliary guidance to accommodate VLM's inability of understanding both the ``background'' and the context of a proposal within the image. Based on it, we greatly purify the noisy pseudo-labels via Online Mining and propose Adaptive Reweighting to effectively suppress the biased training boxes that are not well aligned with the target object. In addition, we also identify a neglected ``base-novel-conflict'' problem and introduce stratified label assignments to prevent it. Extensive experiments on COCO and LVIS datasets demonstrate that our method outperforms the other state-of-the-arts by significant margins. Codes are available at https://github.com/wkfdb/MarvelOVD
• Abstract（参考訳）: VLM(Vision Language Models)で生成された擬似ラベルからの学習は、近年の研究では、オープンな語彙検出(OVD)を支援するための有望なソリューションとして示されている。 しかしながら、VLMと視覚検出タスクのドメインギャップのため、VLMが生成する擬似ラベルはノイズが多く、検出器のトレーニング設計はバイアスをさらに増幅する。 本稿では,VLMの偏差予測の根本原因について,OVDの文脈下で検討する。 この手法は,視覚言語モデルと検出器の能力を組み合わせることで,学習手順をオンライン的に最適化し,トレーニング目標を大幅に改善する。 我々の重要な洞察は、検出器自体が強力な補助的ガイダンスとして機能し、VLMが ``background'' と画像内の提案のコンテキストの両方を理解することができないことに対応することができるということである。 そこで本研究では,オンラインマイニングを用いて,ノイズの多い擬似ラベルを効果的に浄化し,対象物とうまく一致しないバイアス付きトレーニングボックスを効果的に抑制する適応的リウェイト化を提案する。 さらに、無視された ``base-novel-conflict'' 問題を特定し、それを防ぐために階層化されたラベル割り当てを導入する。 COCOとLVISデータセットの大規模な実験は、我々の手法が他の最先端技術よりも大きなマージンで優れていることを示した。 コードはhttps://github.com/wkfdb/MarvelOVDで入手できる。

関連論文リスト

• Active Prompt Learning with Vision-Language Model Priors [9.173468790066956]
  視覚言語モデルの事前学習画像とテキストエンコーダを利用するクラス誘導クラスタリングを提案する。 適応型クラスワイドしきい値に基づく予算削減型選択クエリを提案する。
  論文  参考訳（メタデータ） (2024-11-23T02:34:33Z)
• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• VL4AD: Vision-Language Models Improve Pixel-wise Anomaly Detection [5.66050466694651]
  本稿では,既存の異常検知器にVLエンコーダを組み込み,セマンティック・ワイドなVL事前学習を有効活用し,外乱認識を改善することを提案する。 また,テキスト・プロンプトによるデータ・トレーニング不要の外部監視を可能にする新たなスコアリング機能を提案する。 得られたVL4ADモデルは、広く使用されているベンチマークデータセット上での競合性能を達成する。
  論文  参考訳（メタデータ） (2024-09-25T20:12:10Z)
• Learning Background Prompts to Discover Implicit Knowledge for Open Vocabulary Object Detection [101.15777242546649]
  Open vocabulary Object Detection (OVD) は、ベースと新規の両方のカテゴリからオブジェクトを認識できる最適なオブジェクト検出器を求めることを目的としている。 近年の進歩は、知識蒸留を利用して、事前訓練された大規模視覚言語モデルからオブジェクト検出のタスクに洞察力のある知識を伝達している。 本稿では,暗黙的背景知識を活用するための学習バックグラウンドプロンプトを提案するため,LBPと呼ばれる新しいOVDフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T17:32:26Z)
• VLM-PL: Advanced Pseudo Labeling Approach for Class Incremental Object Detection via Vision-Language Model [9.122593534510512]
  VLM-PL(Vision-Language Model Assisted Pseudo-Labeling)を紹介する。 この手法は視覚言語モデル(VLM)を用いて、追加のモデルトレーニングを必要とせず、擬似接地真実(GT)の正しさを検証する。 VLM-PLは改良された擬似GTと実GTを統合し、新しい知識と古い知識を効果的に組み合わせている。
  論文  参考訳（メタデータ） (2024-03-08T14:23:00Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• Fine-grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary Object Detection [87.39089806069707]
  オープン語彙検出(VTP-OVD)のための微粒なビジュアルテキストプロンプト駆動型自己学習パラダイムを提案する。 適応段階では、学習可能なテキストプロンプトを用いて細粒度アライメントを可能とし、補助的なピクセルワイズ予測タスクを解決する。 実験の結果,COCO の未確認クラスでは,31.5% mAP など,オープン語彙オブジェクト検出の最先端性能が得られた。
  論文  参考訳（メタデータ） (2022-11-02T03:38:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。