論文の概要: Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2607.18695v1
- Date: Tue, 21 Jul 2026 04:34:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.307582
- Title: Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models
- Title(参考訳): 属性は画像から得られるべきで、クラス名ではない
- Abstract要約: ゼロショット分類を解釈するための一般的なルートは、大きな言語モデルに各クラス名を記述するように要求し、結果として生成された記述子でCLIPをプロンプトする。
これらの記述子は、彼ら自身の視覚的証拠をほとんど持たないことを示す。
代わりにターゲットイメージコレクションから属性を選択します。
- 参考スコア(独自算出の注目度): 67.53510678294136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A popular route to interpretable zero-shot classification asks a large language model (LLM) to describe each class name and prompts CLIP with the resulting descriptors. We show that these descriptors carry little visual evidence of their own: removing the class name from the prompt collapses ImageNet accuracy from 59.5% to 15.5%. The diagnosis is that the descriptors are conditioned on the label rather than on the images, so they describe the concept in general and mislead exactly when the data shifts; an LLM insists that strawberries are red, but every strawberry in ImageNet-Sketch is a colorless line drawing. We therefore select attributes from the target image collection instead: we score a large attribute pool against the images in CLIP's joint embedding space and keep the top-scoring attributes per class. Selected this way, class-name-free attribute prompts reach 23.8% on ImageNet (against 15.5% for LLM descriptors), the gain holds on four shifted ImageNet variants, and reselecting from the LLM's own pool isolates the selection mechanism as the cause. With one image per class, the selected attributes outperform the prompt-tuning method CoOp by 3 points while fitting in under a minute instead of 14 hours, with no learned soft prompt to obscure the decision. Because the attribute set is chosen by the data, it doubles as a readable summary of a dataset, which we use to describe distribution shift in words.
- Abstract(参考訳): ゼロショット分類を解釈するための一般的なルートは、各クラス名を記述するために大きな言語モデル(LLM)を求め、結果として生成された記述子でCLIPをプロンプトする。
ImageNetの精度は59.5%から15.5%に低下する。
LLMはイチゴは赤だが、ImageNet-Sketchのイチゴはすべて無色線であると主張している。
私たちはCLIPのジョイント埋め込みスペースのイメージに対して大きな属性プールをスコアし、クラスごとのトップスコアの属性を保持します。
この方法で選択されたクラス名なし属性は、ImageNet上で23.8%(LLMディスクリプタの15.5%以上)に到達し、4つのシフトしたImageNetバリアントを保持し、LLM自身のプールから再選択することで、選択メカニズムを原因として分離する。
選択した属性は、クラス毎に1つのイメージで、14時間ではなく1分以内で、プロンプトチューニング方法であるCoOpを3ポイント上回る。
属性セットはデータによって選択されるため、単語の分布シフトを記述するために使用するデータセットの読みやすい要約として2倍になる。
関連論文リスト
- Visual Distribution Anchoring for Efficient Prompt Tuning [0.6918455480131249]
トレーニング不要なターゲット適応フレームワークであるVDA(Visual Distribution Anchoring)を提案する。
未ラベルのターゲットプールからオフラインで推定されるクラスレベルのビジュアルプロトタイプを備えたフリーズセマンティック分類器を拡張する。
クラス固有のパーティショニングドライブが向上し,視覚的に局所的な擬似ラベルエラーが,クラス非誤りであるにもかかわらず有用であることを示す。
論文 参考訳(メタデータ) (2026-07-31T02:43:07Z) - CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models [63.267844001341814]
クラス対応ゼロショットプロンプト再重み付け(CARPRT)を提案する。
我々は,そのクラスに予測された画像に対する画像テキスト関連度スコアを,与えられたプロンプトの下で平均化することにより,クラス固有の関連性を定量化する。
標準画像分類ベンチマークによる評価では、CARPRTは既存のクラスに依存しない再重み付け法よりも優れていた。
論文 参考訳(メタデータ) (2026-06-19T07:15:46Z) - Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs [44.21486904657393]
AutoSEPは、きめ細かい分類機能を強化するために設計された、自己教師型プロンプト学習フレームワークである。
私たちの中核となる考え方は、ラベルのないデータを活用して、MLLMに重要な差別的特徴を特定するための説明プロンプトを学ぶことです。
AutoSEPは、標準のゼロショット分類よりも平均で13%、最高のパフォーマンスのベースラインよりも5%改善している。
論文 参考訳(メタデータ) (2025-06-01T09:04:07Z) - Does VLM Classification Benefit from LLM Description Semantics? [26.743684911323857]
そこで本研究では,クラス名認識効果とは無関係に機能する識別記述を学習不要に選択する手法を提案する。
提案手法では,ローカルなCLIPラベル近傍のクラスを効果的に区別する記述を同定し,分類精度を7つのデータセットで向上する。
論文 参考訳(メタデータ) (2024-12-16T16:01:18Z) - Follow-Up Differential Descriptions: Language Models Resolve Ambiguities for Image Classification [8.663915072332834]
Follow-up Differential Descriptions (FuDD)は、クラス記述を各データセットに合わせて調整するゼロショットアプローチである。
FuDDはまず各画像のあいまいなクラスを特定し、次にLarge Language Model(LLM)を使用して、それらの区別する新しいクラス記述を生成する。
FuDD は,12 個のデータセットに対して,汎用的な記述アンサンブルやナイーブな LLM 生成記述を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2023-11-10T05:24:07Z) - Text Descriptions are Compressive and Invariant Representations for
Visual Learning [63.3464863723631]
本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。
特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。
このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
論文 参考訳(メタデータ) (2023-07-10T03:06:45Z) - Waffling around for Performance: Visual Classification with Random Words
and Broad Concepts [121.60918966567657]
WaffleCLIPはゼロショット視覚分類のためのフレームワークで、LLM生成した記述子をランダムな文字と単語記述子に置き換える。
LLM生成記述子で導入された追加意味論の影響と欠点について、広範囲にわたる実験的研究を行う。
論文 参考訳(メタデータ) (2023-06-12T17:59:48Z) - Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。
本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。
本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-12-04T07:26:24Z) - What does a platypus look like? Generating customized prompts for
zero-shot image classification [52.92839995002636]
この研究は、タスクドメインの明示的な知識に頼ることなく、より高精度なプロンプトを生成するシンプルな方法を導入する。
我々は,大言語モデル(LLM)に含まれる知識を活用し,画像カテゴリの重要な識別特性を含む多くの記述文を生成する。
このアプローチは、ImageNetの1パーセント以上のポイントゲインを含む、ゼロショット画像分類ベンチマークの精度を改善する。
論文 参考訳(メタデータ) (2022-09-07T17:27:08Z) - Attribute Group Editing for Reliable Few-shot Image Generation [85.52840521454411]
本稿では,画像生成のための新しい編集手法,すなわちAttribute Group Editing (AGE)を提案する。
AGEは、GANで学んだ内部表現を調べ、意味的に意味のある方向を識別する。
論文 参考訳(メタデータ) (2022-03-16T06:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。