論文の概要: Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting

• arxiv url: http://arxiv.org/abs/2409.15953v2
• Date: Fri, 29 Nov 2024 09:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:19.063807
• Title: Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting
• Title（参考訳）: Mind the Prompt: Prompt-based Class-Agnostic Countingの新しいベンチマーク
• Authors: Luca Ciampi, Nicola Messina, Matteo Pierucci, Giuseppe Amato, Marco Avvenuti, Fabrizio Falchi,
• Abstract要約: クラスに依存しないカウント(CAC)は、モデルトレーニング中に見たことのない任意のオブジェクトクラスのインスタンスをカウントする。 本稿では,Prompt-Aware Countingベンチマークを導入し,プロンプトベースのCACモデルの堅牢性と信頼性を評価する。 我々は最先端の手法を評価し、標準クラス固有の計数基準で印象的な結果を得たものの、入力プロンプトの理解に重大な欠陥があることを実証した。
• 参考スコア（独自算出の注目度）: 8.000723123087473
• License:
• Abstract: Recently, object counting has shifted towards class-agnostic counting (CAC), which counts instances of arbitrary object classes never seen during model training. With advancements in robust vision-and-language foundation models, there is a growing interest in prompt-based CAC, where object categories are specified using natural language. However, we identify significant limitations in current benchmarks for evaluating this task, which hinder both accurate assessment and the development of more effective solutions. Specifically, we argue that the current evaluation protocols do not measure the ability of the model to understand which object has to be counted. This is due to two main factors: (i) the shortcomings of CAC datasets, which primarily consist of images containing objects from a single class, and (ii) the limitations of current counting performance evaluators, which are based on traditional class-specific counting and focus solely on counting errors. To fill this gap, we introduce the Prompt-Aware Counting (PrACo) benchmark. It comprises two targeted tests coupled with evaluation metrics specifically designed to quantitatively measure the robustness and trustworthiness of existing prompt-based CAC models. We evaluate state-of-the-art methods and demonstrate that, although some achieve impressive results on standard class-specific counting metrics, they exhibit a significant deficiency in understanding the input prompt, indicating the need for more careful training procedures or revised designs. The code for reproducing our results is available at https://github.com/ciampluca/PrACo.
• Abstract（参考訳）: 近年、オブジェクトカウントはクラスに依存しないカウント(CAC)へとシフトし、モデルトレーニング中に見たことのない任意のオブジェクトクラスのインスタンスをカウントしている。 堅牢な視覚・言語基盤モデルの発展に伴い、オブジェクトカテゴリを自然言語で指定するプロンプトベースのCACへの関心が高まっている。 しかし、この課題を評価するための現在のベンチマークでは、正確な評価とより効果的なソリューションの開発の両方を妨げる重要な制限が特定されている。 具体的には、現在の評価プロトコルは、どのオブジェクトをカウントすべきかを理解するためのモデルの能力を測定するものではないと論じる。 主な要因は2つある。 i) CACデータセットの欠点は、主に1つのクラスのオブジェクトを含む画像からなり、 (II) 従来のクラス別カウントに基づく現在のカウント性能評価器の限界は, 誤差のカウントにのみ焦点を合わせている。 このギャップを埋めるために、Prompt-Aware Counting (PrACo)ベンチマークを導入する。 既存のプロンプトベースのCACモデルの堅牢性と信頼性を定量的に測定するために特別に設計された評価指標と組み合わせた2つのターゲットテストで構成されている。 我々は最先端の手法を評価し、標準クラス固有の計数基準において印象的な結果を得るものもあれば、入力プロンプトの理解に重大な欠陥があることを示し、より注意深い訓練手順や改訂された設計の必要性を示している。 結果の再現コードはhttps://github.com/ciampluca/PrACo.comで公開されている。

関連論文リスト

• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Enhancing Zero-shot Counting via Language-guided Exemplar Learning [17.479926342093677]
  CAC(Class-Agnostic Counting)問題はその興味深い一般化と優れた効率のために注目を集めている。 本稿では,言語指導による模範学習を深く掘り下げることで,ゼロショットオブジェクトのカウントを向上する新しいExpressCountを提案する。 ExpressCountは革新的な言語指向のExemplar Perceptronと、下流のZero-shot Countingパイプラインで構成されている。
  論文  参考訳（メタデータ） (2024-02-08T04:07:38Z)
• Zero-Shot Object Counting with Language-Vision Models [50.1159882903028]
  クラスに依存しないオブジェクトカウントは、テスト時に任意のクラスのオブジェクトインスタンスをカウントすることを目的としている。 現在の手法では、新しいカテゴリではしばしば利用できない入力として、人間に注釈をつけた模範を必要とする。 テスト期間中にクラス名のみを利用できる新しい設定であるゼロショットオブジェクトカウント(ZSC)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T14:48:42Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Exemplar Free Class Agnostic Counting [28.41525571128706]
  クラス非依存カウントは、そのカテゴリのラベル付きトレーニングデータにアクセスせずに、新しいオブジェクトカテゴリのオブジェクトをテスト時にカウントすることを目的としている。 提案手法は,まず画像中のオブジェクトの繰り返しから例を識別し,次に繰り返しオブジェクトをカウントする。 FSC-147データセットに対する提案手法の評価を行い,既存手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-27T19:44:39Z)
• Learning to Count Anything: Reference-less Class-agnostic Counting with Weak Supervision [11.037585450795357]
  カウントは、その中核として、反復認識タスクであることを示す。 我々は,自己監督型視覚変換器と軽量のカウントレグレッションヘッドを組み合わせることで,競合する結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-20T14:26:38Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Incremental Few-Shot Object Detection [96.02543873402813]
  OpeN-ended Centre nEtは、いくつかの例でクラスオブジェクトの検出を漸進的に学習する検出器である。 ONCEはインクリメンタルな学習パラダイムを十分に尊重しており、新しいクラス登録では、数発のトレーニングサンプルを1回だけフォワードパスするだけでよい。
  論文  参考訳（メタデータ） (2020-03-10T12:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。