論文の概要: Zero-Shot Object Counting with Language-Vision Models

• arxiv url: http://arxiv.org/abs/2309.13097v1
• Date: Fri, 22 Sep 2023 14:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 22:12:42.390737
• Title: Zero-Shot Object Counting with Language-Vision Models
• Title（参考訳）: 言語ビジョンモデルを用いたゼロショットオブジェクトカウント
• Authors: Jingyi Xu, Hieu Le, Dimitris Samaras
• Abstract要約: クラスに依存しないオブジェクトカウントは、テスト時に任意のクラスのオブジェクトインスタンスをカウントすることを目的としている。 現在の手法では、新しいカテゴリではしばしば利用できない入力として、人間に注釈をつけた模範を必要とする。 テスト期間中にクラス名のみを利用できる新しい設定であるゼロショットオブジェクトカウント(ZSC)を提案する。
• 参考スコア（独自算出の注目度）: 50.1159882903028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-agnostic object counting aims to count object instances of an arbitrary class at test time. It is challenging but also enables many potential applications. Current methods require human-annotated exemplars as inputs which are often unavailable for novel categories, especially for autonomous systems. Thus, we propose zero-shot object counting (ZSC), a new setting where only the class name is available during test time. This obviates the need for human annotators and enables automated operation. To perform ZSC, we propose finding a few object crops from the input image and use them as counting exemplars. The goal is to identify patches containing the objects of interest while also being visually representative for all instances in the image. To do this, we first construct class prototypes using large language-vision models, including CLIP and Stable Diffusion, to select the patches containing the target objects. Furthermore, we propose a ranking model that estimates the counting error of each patch to select the most suitable exemplars for counting. Experimental results on a recent class-agnostic counting dataset, FSC-147, validate the effectiveness of our method.
• Abstract（参考訳）: クラスに依存しないオブジェクトカウントは、テスト時に任意のクラスのオブジェクトインスタンスをカウントすることを目的としている。 難しいが、多くの潜在的なアプリケーションを可能にする。 現在の方法は、新しいカテゴリー、特に自律システムでは利用できない入力として、人間に注釈を付けた例を必要とする。 そこで本研究では,テスト期間中にクラス名のみを設定できるゼロショットオブジェクトカウント(zsc)を提案する。 これにより、人間のアノテーションが不要になり、自動操作が可能となる。 ZSCを実現するために,入力画像からいくつかの対象作物を抽出し,それを例に数える方法を提案する。 目標は、関心のあるオブジェクトを含むパッチを識別し、画像内のすべてのインスタンスを視覚的に代表することです。 そこで我々はまず,CLIPやStable Diffusionを含む大規模言語ビジョンモデルを用いてクラスプロトタイプを構築し,対象オブジェクトを含むパッチを選択する。 さらに,各パッチの計数誤差を推定し,計数に適した例を選択するランキングモデルを提案する。 最近のクラス非依存計数データセットであるfsc-147の実験結果は,本手法の有効性を検証する。

関連論文リスト

• Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting [8.000723123087473]
  CAC(Class-Agnostic counting)は、コンピュータビジョンにおける最近の課題であり、モデルトレーニング中に見たことのない任意のオブジェクトクラスのインスタンス数を推定することを目的としている。 Prompt-Aware Countingベンチマークを導入する。このベンチマークは2つのターゲットテストで構成されており、それぞれに適切な評価指標が伴っている。
  論文  参考訳（メタデータ） (2024-09-24T10:35:42Z)
• Learning from Pseudo-labeled Segmentation for Multi-Class Object Counting [35.652092907690694]
  CAC(Class-Agnostic counting)は、様々な領域にまたがる多くの潜在的な応用がある。 目標は、いくつかの注釈付き例に基づいて、テスト中に任意のカテゴリのオブジェクトを数えることである。 擬似ラベルマスクを用いて学習したセグメンテーションモデルは、任意のマルチクラス画像に対して効果的に対象をローカライズできることを示す。
  論文  参考訳（メタデータ） (2023-07-15T01:33:19Z)
• Zero-shot Object Counting [31.192588671258775]
  クラスに依存しないオブジェクトカウントは、テスト時に任意のクラスのオブジェクトインスタンスをカウントすることを目的としている。 現在の手法では、新しいカテゴリではしばしば利用できない入力として、人間に注釈をつけた模範を必要とする。 テスト期間中にクラス名のみを利用できる新しい設定であるゼロショットオブジェクトカウント(ZSC)を提案する。
  論文  参考訳（メタデータ） (2023-03-03T15:14:36Z)
• Exploiting Unlabeled Data with Vision and Language Models for Object Detection [64.94365501586118]
  堅牢で汎用的なオブジェクト検出フレームワークを構築するには、より大きなラベルスペースとより大きなトレーニングデータセットへのスケーリングが必要である。 本稿では,近年の視覚と言語モデルで利用可能なリッチなセマンティクスを利用して,未ラベル画像中のオブジェクトのローカライズと分類を行う手法を提案する。 生成した擬似ラベルの価値を,オープン語彙検出と半教師付きオブジェクト検出の2つのタスクで示す。
  論文  参考訳（メタデータ） (2022-07-18T21:47:15Z)
• Exemplar Free Class Agnostic Counting [28.41525571128706]
  クラス非依存カウントは、そのカテゴリのラベル付きトレーニングデータにアクセスせずに、新しいオブジェクトカテゴリのオブジェクトをテスト時にカウントすることを目的としている。 提案手法は,まず画像中のオブジェクトの繰り返しから例を識別し,次に繰り返しオブジェクトをカウントする。 FSC-147データセットに対する提案手法の評価を行い,既存手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-27T19:44:39Z)
• Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
  そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。 クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
  論文  参考訳（メタデータ） (2020-10-19T12:36:11Z)
• A Few-Shot Sequential Approach for Object Counting [63.82757025821265]
  画像中のオブジェクトに逐次出席するクラスアテンション機構を導入し,それらの特徴を抽出する。 提案手法は点レベルのアノテーションに基づいて訓練され,モデルのクラス依存的・クラス依存的側面を乱す新しい損失関数を用いる。 本稿では,FSODやMS COCOなど,さまざまなオブジェクトカウント/検出データセットについて報告する。
  論文  参考訳（メタデータ） (2020-07-03T18:23:39Z)
• Any-Shot Object Detection [81.88153407655334]
  「アニーショット検出」とは、全く見えず、数発のカテゴリが推論中に同時に共起できる場所である。 我々は、ゼロショットと少数ショットの両方のオブジェクトクラスを同時に検出できる、統合された任意のショット検出モデルを提案する。 我々のフレームワークは、ゼロショット検出とFewショット検出タスクにのみ使用できる。
  論文  参考訳（メタデータ） (2020-03-16T03:43:15Z)
• Incremental Few-Shot Object Detection [96.02543873402813]
  OpeN-ended Centre nEtは、いくつかの例でクラスオブジェクトの検出を漸進的に学習する検出器である。 ONCEはインクリメンタルな学習パラダイムを十分に尊重しており、新しいクラス登録では、数発のトレーニングサンプルを1回だけフォワードパスするだけでよい。
  論文  参考訳（メタデータ） (2020-03-10T12:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。