論文の概要: Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting
- arxiv url: http://arxiv.org/abs/2409.15953v1
- Date: Tue, 24 Sep 2024 10:35:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 07:51:56.990765
- Title: Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting
- Title（参考訳）: Mind the Prompt: Prompt-based Class-Agnostic Countingの新しいベンチマーク
- Authors: Luca Ciampi, Nicola Messina, Matteo Pierucci, Giuseppe Amato, Marco Avvenuti, Fabrizio Falchi,
- Abstract要約: CAC(Class-Agnostic counting)は、コンピュータビジョンにおける最近の課題であり、モデルトレーニング中に見たことのない任意のオブジェクトクラスのインスタンス数を推定することを目的としている。
Prompt-Aware Countingベンチマークを導入する。このベンチマークは2つのターゲットテストで構成されており、それぞれに適切な評価指標が伴っている。
- 参考スコア（独自算出の注目度）: 8.000723123087473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-agnostic counting (CAC) is a recent task in computer vision that aims to estimate the number of instances of arbitrary object classes never seen during model training. With the recent advancement of robust vision-and-language foundation models, there is a growing interest in prompt-based CAC, where object categories to be counted can be specified using natural language. However, we identify significant limitations in current benchmarks for evaluating this task, which hinder both accurate assessment and the development of more effective solutions. Specifically, we argue that the current evaluation protocols do not measure the ability of the model to understand which object has to be counted. This is due to two main factors: (i) the shortcomings of CAC datasets, which primarily consist of images containing objects from a single class, and (ii) the limitations of current counting performance evaluators, which are based on traditional class-specific counting and focus solely on counting errors. To fill this gap, we introduce the Prompt-Aware Counting (PrACo) benchmark, which comprises two targeted tests, each accompanied by appropriate evaluation metrics. We evaluate state-of-the-art methods and demonstrate that, although some achieve impressive results on standard class-specific counting metrics, they exhibit a significant deficiency in understanding the input prompt, indicating the need for more careful training procedures or revised designs. The code for reproducing our results is available at https://github.com/ciampluca/PrACo.
- Abstract（参考訳）: CAC(Class-Agnostic counting)は、コンピュータビジョンにおける最近の課題であり、モデルトレーニング中に見たことのない任意のオブジェクトクラスのインスタンス数を推定することを目的としている。
近年、堅牢なビジョン・アンド・ランゲージ基盤モデルの発展に伴い、自然言語を用いて対象カテゴリをカウントできるプロンプトベースのCACへの関心が高まっている。
しかし、この課題を評価するための現在のベンチマークでは、正確な評価とより効果的なソリューションの開発の両方を妨げる重要な制限が特定されている。
具体的には、現在の評価プロトコルは、どのオブジェクトをカウントすべきかを理解するためのモデルの能力を測定するものではないと論じる。
主な要因は2つある。
i) CACデータセットの欠点は、主に1つのクラスのオブジェクトを含む画像からなり、
(II) 従来のクラス別カウントに基づく現在のカウント性能評価器の限界は, 誤差のカウントにのみ焦点を合わせている。
このギャップを埋めるために、適切な評価指標を伴って2つのターゲットテストからなるPrompt-Aware Counting (PrACo)ベンチマークを導入する。
我々は最先端の手法を評価し、標準クラス固有の計数基準において印象的な結果を得るものもあれば、入力プロンプトの理解に重大な欠陥があることを示し、より注意深い訓練手順や改訂された設計の必要性を示している。
結果の再現コードはhttps://github.com/ciampluca/PrACo.comで公開されている。
関連論文リスト
- A Survey on Class-Agnostic Counting: Advancements from Reference-Based to Open-World Text-Guided Approaches [6.356364436395916]
CAC(class-agnostic counting, Class-Agnostic counting, CAC)法について概説した。
本稿では,CACアプローチを参照ベース,参照レス,オープンワールドの3つのパラダイムに分類する分類法を提案する。
本研究では, FSC-147データセット, 金標準指標を用いたリーダボード, CARPKデータセットを用いて一般化能力の評価を行う。
論文 参考訳（メタデータ） (2025-01-31T14:47:09Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Enhancing Zero-shot Counting via Language-guided Exemplar Learning [17.479926342093677]
CAC(Class-Agnostic Counting)問題はその興味深い一般化と優れた効率のために注目を集めている。
本稿では,言語指導による模範学習を深く掘り下げることで,ゼロショットオブジェクトのカウントを向上する新しいExpressCountを提案する。
ExpressCountは革新的な言語指向のExemplar Perceptronと、下流のZero-shot Countingパイプラインで構成されている。
論文 参考訳（メタデータ） (2024-02-08T04:07:38Z) - Zero-Shot Object Counting with Language-Vision Models [50.1159882903028]
クラスに依存しないオブジェクトカウントは、テスト時に任意のクラスのオブジェクトインスタンスをカウントすることを目的としている。
現在の手法では、新しいカテゴリではしばしば利用できない入力として、人間に注釈をつけた模範を必要とする。
テスト期間中にクラス名のみを利用できる新しい設定であるゼロショットオブジェクトカウント(ZSC)を提案する。
論文 参考訳（メタデータ） (2023-09-22T14:48:42Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳（メタデータ） (2023-05-20T19:22:40Z) - Learning to Count Anything: Reference-less Class-agnostic Counting with
Weak Supervision [11.037585450795357]
カウントは、その中核として、反復認識タスクであることを示す。
我々は,自己監督型視覚変換器と軽量のカウントレグレッションヘッドを組み合わせることで,競合する結果が得られることを示した。
論文 参考訳（メタデータ） (2022-05-20T14:26:38Z) - The Overlooked Classifier in Human-Object Interaction Recognition [82.20671129356037]
クラス間の意味的相関を分類ヘッドにエンコードし,重みをHOIの言語埋め込みで初期化する。
我々は,LSE-Sign という新しい損失を,長い尾を持つデータセット上でのマルチラベル学習を強化するために提案する。
我々は,物体検出と人間のポーズを明確なマージンで求める最先端技術よりも優れた,検出不要なHOI分類を可能にする。
論文 参考訳（メタデータ） (2022-03-10T23:35:00Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。