論文の概要: C-GAP: Class-Aware and Online Prompting Improves Vision-Language Models on Imbalanced Classes
- arxiv url: http://arxiv.org/abs/2607.09008v1
- Date: Fri, 10 Jul 2026 00:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.760457
- Title: C-GAP: Class-Aware and Online Prompting Improves Vision-Language Models on Imbalanced Classes
- Title（参考訳）: C-GAP:不均衡クラスにおける視覚言語モデルを改善するクラスウェアとオンラインプロンプト
- Abstract要約: 本稿では,C-GAPキャプションガイドによる拡張とプロンプティングについて紹介する。
C-GAPは、マイノリティクラスの平均精度をベースラインよりも最大53%向上させる。
COCOでは、C-GAPはコンポジットベースライン(17.69-> 32.09)に比べて、マイノリティクラスAP@0.5を81%改善する
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety-critical perception systems must reliably detect rare object classes within small label spaces, a setting that long-tailed detection methods, designed for hundreds of classes with dense annotation, fundamentally do not address. Open-vocabulary detectors offer a promising alternative, as they use natural language queries at inference time, making prompt quality a first-class lever for detection performance. We exploit this property to address class imbalance: rather than retraining models or collecting additional annotations, we ask whether iteratively refining the language prompts, fed to frozen detectors, can improve minority class detection. We introduce C-GAP Caption-Guided Augmentation and Prompting), a detector-agnostic, annotation-free framework that operates in two phases. First, we establish a composite caption baseline combining per-image scene descriptions with class-quantity context, which we show outperforms scene-description only or class-quantity-only prompts across multiple open-vocabulary architectures and benchmarks. Second, an LLM iteratively refines each image's caption individually, with trials triaged into accept, tentative, or regenerate buckets based on minority-class AP@0.5 against a dynamic threshold derived from the composite baseline. Refinement terminates early once sufficient AP@0.5 gain is achieved. No detector weights are updated at any stage. Our experiments shows that C-GAP improves minority-class average precision up to 53% over the baselines. On COCO, C-GAP improves minority-class AP@0.5 by ~81% relative over the composite baseline (17.69 -> 32.09). Experiments confirm that composite captions provide the critical foundation for effective refinement: using scene-description-only or class-quantity-only prompts as the refinement starting point yields diminishing returns, supporting both stages of C-GAP as necessary contributions.
- Abstract（参考訳）: 安全クリティカルな認識システムは、小さなラベル空間内の希少なオブジェクトクラスを確実に検出する必要がある。
オープンボキャブラリ検出器は、推論時に自然言語クエリを使用し、迅速な品質が検出性能の第一級レバーとなる、有望な代替手段を提供する。
モデルを再訓練したり、追加のアノテーションを収集する代わりに、凍結検知器に供給される言語プロンプトを反復的に書き換えることで、マイノリティなクラス検出を改善することができるかどうかを問う。
本稿では,C-GAP Caption-Guided Augmentation and Promptingを紹介した。
まず、画像ごとのシーン記述とクラス量文脈を組み合わせた複合キャプションベースラインを構築し、複数のオープン語彙アーキテクチャやベンチマークにまたがるシーン記述のみまたはクラス量のみのプロンプトの性能を示す。
第2に、LLMは、各画像のキャプションを個別に洗練し、合成ベースラインから派生した動的しきい値に対して、マイノリティクラスAP@0.5に基づいて、トライアルを受理、仮、または再生する。
十分なAP@0.5ゲインが達成すれば、リファインメントは早期に終了する。
どの段階でも検出器の重量は更新されない。
実験の結果,C-GAPはベースラインよりも最大53%,マイノリティクラスの平均精度が向上した。
COCOでは、C-GAPは、コンポジットベースライン (17.69 -> 32.09) に対して、マイノリティクラスAP@0.5を約81%改善する。
合成キャプションは、シーン記述のみまたはクラス量子のみのプロンプトを使用して、リファインメント開始点がリターンを減少させ、必要なコントリビューションとしてC-GAPの両ステージをサポートする。
関連論文リスト
- PMCE: Probabilistic Multi-Granularity Semantics with Caption-Guided Enhancement for Few-Shot Learning [32.31794815671946]
少数のラベル付きサンプルから新しいカテゴリを識別することを目的としている。
本稿では,多粒度セマンティクスとキャプション誘導型エンハンスメントを利用したPMCEを提案する。
論文 参考訳（メタデータ） (2026-01-20T16:06:23Z) - Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning [1.3680468021400563]
ヴィジュアル言語モデル(VLM)の核となる課題は、ほとんどない
PromptFuseNLは、予測的プロンプトチューニングと2分岐正負の学習を組み合わせることで、数ショットの一般化を向上する統合フレームワークである。
論文 参考訳（メタデータ） (2025-05-16T23:39:34Z) - Transductive Zero-Shot and Few-Shot CLIP [24.592841797020203]
本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。
推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。
提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
論文 参考訳（メタデータ） (2024-04-08T12:44:31Z) - Fast Certification of Vision-Language Models Using Incremental
Randomized Smoothing [0.0]
私たちはCLIPのようなオープン語彙モデルの高速認証手法であるOpen Vocabulary Certification (OVC)を紹介した。
OVCは、新しいプロンプトを持つ分類器が、ベーストレーニングセット内の近くの分類器の摂動バージョンと見なせるという観察に依存している。
CIFAR-10およびImageNetテストデータセット上で、複数の視覚言語バックボーンを用いた実験評価により、OVCの有効性を実証する。
論文 参考訳（メタデータ） (2023-11-15T15:14:16Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-24T17:56:46Z) - Multi-modal Prompting for Low-Shot Temporal Action Localization [95.19505874963751]
低ショット(ゼロショット・少数ショット)シナリオ下での時間的行動局所化の問題点を考察する。
クラスに依存しない2段階のアクションローカライズアーキテクチャをTransformerに導入し,その後にオープン語彙分類を行った。
論文 参考訳（メタデータ） (2023-03-21T10:40:13Z) - CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。
CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。
実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
論文 参考訳（メタデータ） (2022-10-19T08:06:39Z) - Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
近年では、FSS ( few-shot segmentation) が広く開発されている。
本稿では,問題を緩和するための新鮮で直接的な知見を提案する。
提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
論文 参考訳（メタデータ） (2022-03-15T03:08:27Z) - Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。
広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
論文 参考訳（メタデータ） (2021-03-30T00:48:28Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳（メタデータ） (2021-01-23T13:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。