論文の概要: CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.14125v1
• Date: Fri, 19 Jun 2026 07:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.418937
• Title: CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models
• Title（参考訳）: CARPRT:ブラックボックスビジョンランゲージモデルのためのクラス対応ゼロショットプロンプトリウェイト
• Abstract要約: クラス対応ゼロショットプロンプト再重み付け(CARPRT)を提案する。 我々は,そのクラスに予測された画像に対する画像テキスト関連度スコアを,与えられたプロンプトの下で平均化することにより,クラス固有の関連性を定量化する。 標準画像分類ベンチマークによる評価では、CARPRTは既存のクラスに依存しない再重み付け法よりも優れていた。
• 参考スコア（独自算出の注目度）: 63.267844001341814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained vision-language models (VLMs) enable zero-shot image classification by computing the similarity score between an image and textual descriptions, typically formed by inserting a class label (e.g., "cat") into a prompt (e.g., "a photo of a"). Since the score for a given image-class pair is sensitive to the choice of prompt, existing studies ensemble multiple prompts using a weighting vector to aggregate scores across different prompts. Yet, in current strategies, the weighting vector assigned to each prompt is shared across all classes, implicitly assuming that prompts are conditionally independent of classes, which often does not hold in practice, as a prompt like "an aerial view of" might be apt for "airport" but ill-suited for "apple". To address this, we propose class-aware zero-shot prompt reweighting (CARPRT). This scoring scheme adjusts the weighting vector for each class label by capturing the class-specific relevance of different prompts in a training-free manner. For each class label and every available prompt, we quantify their class-specific relevance by averaging image-text relevance scores over images predicted to that class under the given prompt. These estimates are then normalized to derive class-specific weights. Evaluations on standard image classification benchmarks show that CARPRT outperforms existing class-independent reweighting methods, confirming that modeling prompt-class dependencies is crucial for effective zero-shot prediction and even broader VLM-based application settings that rely on prompt ensembling. Our code is available at https://github.com/tmlr-group/CARPRT.
• Abstract（参考訳）: 事前訓練された視覚言語モデル(VLM)は、画像とテキスト記述の類似点を計算し、クラスラベル(eg、cat)をプロンプト(eg、aの写真)に挿入することで、ゼロショット画像分類を可能にする。 与えられた画像クラス対のスコアはプロンプトの選択に敏感であるため、既存の研究では重み付けベクトルを用いて複数のプロンプトをアンサンブルし、異なるプロンプト間でスコアを集計する。 しかし、現在の戦略では、各プロンプトに割り当てられた重み付けベクトルはすべてのクラスで共有され、プロンプトがクラスから条件的に独立していることを暗黙的に仮定する。 そこで我々は,クラス対応ゼロショットプロンプト再重み付け (CARPRT) を提案する。 このスコアリングスキームは、各クラスラベルの重み付けベクトルを、異なるプロンプトのクラス固有の関連性をトレーニング不要な方法でキャプチャすることで調整する。 各クラスラベルと利用可能なプロンプトに対して、与えられたプロンプトの下でそのクラスに予測された画像に対する画像テキスト関連スコアを平均化することにより、クラス固有の関連性を定量化する。 これらの推定は、クラス固有の重みを導出するために正規化される。 標準画像分類ベンチマークによる評価では、CARPRTは既存のクラスに依存しない再重み付け手法よりも優れており、プロンプトクラスの依存関係のモデリングが効果的なゼロショット予測や、プロンプトアンサンブルに依存するより広範なVLMベースのアプリケーション設定に不可欠であることを確認している。 私たちのコードはhttps://github.com/tmlr-group/CARPRT.comで利用可能です。

関連論文リスト

• Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models [67.53510678294136]
  ゼロショット分類を解釈するための一般的なルートは、大きな言語モデルに各クラス名を記述するように要求し、結果として生成された記述子でCLIPをプロンプトする。 これらの記述子は、彼ら自身の視覚的証拠をほとんど持たないことを示す。 代わりにターゲットイメージコレクションから属性を選択します。
  論文  参考訳（メタデータ） (2026-07-21T04:34:24Z)
• Classifier Enhancement Using Extended Context and Domain Experts for Semantic Segmentation [16.76156233696562]
  本研究では,グローバル(データセットレベル)とローカル(イメージレベル)のコンテキスト情報を用いて分類器を動的に調整する拡張コンテキスト認識(ECAC)を提案する。 ECACはADE20K、COCO-Stuff10K、Pascal-Contextなど、いくつかのデータセットで最先端のパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2025-10-29T05:17:13Z)
• Cluster-Aware Prompt Ensemble Learning for Few-Shot Vision-Language Model Adaptation [40.60703048681749]
  CLIPのような視覚言語モデル(VLM)は、多数の画像テキストペアを事前学習することで、様々なタスク間でゼロショット転送を実現する。 有効であるにもかかわらず、コンテキストプロンプトのテキスト的特徴を平均化する従来のプロンプトアンサンブルは、しばしば準最適結果をもたらす。 本稿では,コンテキストプロンプトのクラスタ特性を保存するクラスタ・アウェア・プロンプト・アンサンブル・ラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-10T20:58:43Z)
• SDVPT: Semantic-Driven Visual Prompt Tuning for Open-World Object Counting [70.49268117587562]
  本稿では,トレーニングセットから未知のカテゴリに知識を伝達する,セマンティック駆動型ビジュアルプロンプトチューニングフレームワーク(SDVPT)を提案する。 推論中,見知らぬカテゴリと訓練カテゴリのセマンティックな相関に基づいて,見つからないカテゴリの視覚的プロンプトを動的に合成する。
  論文  参考訳（メタデータ） (2025-04-24T09:31:08Z)
• A Simple Interpretable Transformer for Fine-Grained Image Classification and Analysis [24.531871371861477]
  我々はこのアイデアを、Detection TRansformer (DETR) にインスパイアされた Transformer Encoder-decoder を通じて実現した。 Interpretable TRansformer (INTR) は実装が容易で、いくつかの魅力的な特性を示す。 私たちのコードと事前トレーニングされたモデルは、Imageomics Institute GitHubサイトで公開されています。
  論文  参考訳（メタデータ） (2023-11-07T17:32:55Z)
• AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models [12.971616352162435]
  AutoCLIPは、クラス記述子-画像類似性の統計に基づいて、推論時に各プロンプトテンプレートに画像毎の重みをチューニングする。 AutoCLIPは、幅広いビジョン言語モデル、データセットでベースラインを上回り、テンプレートを一貫して、最大3%精度でプロンプトすることを示す。
  論文  参考訳（メタデータ） (2023-09-28T13:08:08Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• Visual Classification via Description from Large Language Models [23.932495654407425]
  視覚言語モデル(VLM)は、様々な認識タスクにおいて有望な性能を示す。 本稿では,VLMを用いた分類のための代替フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:03:46Z)
• What does a platypus look like? Generating customized prompts for zero-shot image classification [52.92839995002636]
  この研究は、タスクドメインの明示的な知識に頼ることなく、より高精度なプロンプトを生成するシンプルな方法を導入する。 我々は,大言語モデル(LLM)に含まれる知識を活用し,画像カテゴリの重要な識別特性を含む多くの記述文を生成する。 このアプローチは、ImageNetの1パーセント以上のポイントゲインを含む、ゼロショット画像分類ベンチマークの精度を改善する。
  論文  参考訳（メタデータ） (2022-09-07T17:27:08Z)
• Prompt-aligned Gradient for Prompt Tuning [59.04562893153831]
  本稿では,視覚言語モデル(VLM)から学んだ一般的な知識を,即時チューニングが忘れないようにするために,ProGradと呼ばれるPrompt対応のグラディエントを提案する。 ProGradは、勾配が「一般的な方向」に一致しているプロンプトのみを更新し、事前に定義されたプロンプト予測のKL損失の勾配として表される。 実験では、最先端のプロンプトチューニング手法に対して、ProGradのより強力な数ショットの一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-30T06:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。