論文の概要: G2D: Generative-to-Discriminative Collaborative Inference for Zero-Shot Image Classification
- arxiv url: http://arxiv.org/abs/2608.26744v1
- Date: Thu, 27 Aug 2026 07:34:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.291275
- Title: G2D: Generative-to-Discriminative Collaborative Inference for Zero-Shot Image Classification
- Title(参考訳): G2D:ゼロショット画像分類のための生成的・識別的協調推論
- Abstract要約: G2Dは、生成的なVLMを使用して、CLIP検索候補を画像に対して検証する、トレーニング不要のフレームワークである。
平均精度は68.85%、CLIPは59.35%、スタンドアロンのVLMは63.11%である。
また、DCLIP、WaffleCLIP、CuPLに移行し、識別的提案と生成的視覚的推論の実践的なインターフェースをサポートする。
- 参考スコア(独自算出の注目度): 14.607727417863273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot classification needs efficient label retrieval and fine-grained visual reasoning, yet discriminative and generative vision-language models fail in complementary ways.When CLIP's top-1 prediction is wrong, the correct label often remains in its top-$K$ shortlist, making disambiguation rather than recall the key challenge.Standalone generative models, however, are hindered by large label spaces and unconstrained outputs.This complementarity motivates separating broad candidate retrieval from fine-grained, image-grounded verification.We propose G2D, a training-free framework that uses a generative VLM to verify CLIP-retrieved candidates against the image.Candidate names and CLIP probabilities provide a structured prior for resolving visually similar classes.Fixed confidence routing, entropy-adaptive candidate sizing, and trie-constrained decoding focus generative reasoning on uncertain samples and ensure one valid output for each input at test time.Across eight benchmarks, G2D achieves 68.85% average accuracy, versus 59.35% for CLIP and 63.11% for the standalone VLM.Across seven generator configurations, candidate-set verification improves average accuracy by 1.08--27.42 percentage points.G2D also transfers to DCLIP, WaffleCLIP, and CuPL, supporting a practical interface between discriminative proposal and generative visual reasoning. Code: https://github.com/Harzva/G2D
- Abstract(参考訳): ゼロショット分類は、効率的なラベル検索ときめ細かな視覚的推論を必要とするが、識別的および生成的視覚言語モデルは相補的な方法で失敗する。CLIPの上位1の予測が間違っていれば、正しいラベルはしばしば上位1ドルのショートリストに残され、キーチャレンジを思い出すよりも曖昧にされる。しかし、Standalone生成モデルは、大きなラベル空間と制約のない出力によって妨げられている。この相補性は、広範囲の候補検索をきめ細かな画像的検証から分離する。我々は、生成的VLMを使用して画像に対してCLIPが取得した候補を検証するためのトレーニングフリーフレームワークであるG2Dを提案する。CLIPとCLIPの確率は、以前の視覚的クラスを分解するための構造を提供する。
コード:https://github.com/Harzva/G2D
関連論文リスト
- GATE: Reliability-Gated Gaussian Evidence Fusion for Training-Free Test-Time Adaptation of Vision-Language Models [5.025577782616721]
GATEはトレーニングフリーの2パストランスダクティブテストタイム適応フレームワークである。
イメージエンコーダ、テキストエンコーダ、およびプロンプトパラメータを完全に凍結しながら、ラベルなしのターゲットセットを使用する。
ゼロショットのパフォーマンスは平均5.41ポイント向上し、最強の非GATEベースラインを1.94ポイント上回る。
論文 参考訳(メタデータ) (2026-08-29T18:33:23Z) - Visual Distribution Anchoring for Efficient Prompt Tuning [0.6918455480131249]
トレーニング不要なターゲット適応フレームワークであるVDA(Visual Distribution Anchoring)を提案する。
未ラベルのターゲットプールからオフラインで推定されるクラスレベルのビジュアルプロトタイプを備えたフリーズセマンティック分類器を拡張する。
クラス固有のパーティショニングドライブが向上し,視覚的に局所的な擬似ラベルエラーが,クラス非誤りであるにもかかわらず有用であることを示す。
論文 参考訳(メタデータ) (2026-07-31T02:43:07Z) - CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification [65.46685389276443]
画像とテキストプロンプトをマッチングすることでゼロショット分類を行うことができる、視覚言語で事前訓練されたエンコーダモデルであるCLIPについて検討する。
次に, 共分散精製プロセス間のKL分散として精製リスクを定式化する。
画像の潜伏ベクトルの確率をモデル化するCLI-Diffと、画像の埋め込みとaの写真とのコサイン類似度をモデル化するCLI-Cosの2つのバリエーションを提案する。
論文 参考訳(メタデータ) (2025-02-25T13:09:34Z) - African or European Swallow? Benchmarking Large Vision-Language Models for Fine-Grained Object Classification [53.89380284760555]
textttFOCI (textbfFine-fine textbfObject textbfClasstextbfIfication) は、きめ細かいオブジェクト分類のための難しい多重選択ベンチマークである。
textttFOCIxspaceは、ImageNet-21kから4つのドメイン固有のサブセットで5つの一般的な分類データセットを補完する。
論文 参考訳(メタデータ) (2024-06-20T16:59:39Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-24T17:56:46Z) - ReCLIP: Refine Contrastive Language Image Pre-Training with Source Free
Domain Adaptation [20.57370550156505]
ReCLIPは、ヴィジュアル言語モデルのための、ソースフリーなドメイン適応手法である。
ReCLIPは、22の画像分類ベンチマークにおいて、CLIPの平均エラー率を30.17%から25.06%に下げることを示した。
論文 参考訳(メタデータ) (2023-08-04T18:11:40Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳(メタデータ) (2022-06-07T02:03:06Z) - Tune it the Right Way: Unsupervised Validation of Domain Adaptation via
Soft Neighborhood Density [125.64297244986552]
本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。
私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
論文 参考訳(メタデータ) (2021-08-24T17:41:45Z) - Self-Supervised Classification Network [3.8073142980733]
自己監視型エンドツーエンド分類ニューラルネットワークはラベルと表現を同時に学習する。
大規模なImageNetデータセットでうまく機能する最初の監視されていないエンドツーエンドの分類ネットワーク。
論文 参考訳(メタデータ) (2021-03-19T19:29:42Z) - Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive
Person Re-Identification [64.37745443119942]
本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。
3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
論文 参考訳(メタデータ) (2020-07-21T14:31:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。