論文の概要: Visual Distribution Anchoring for Efficient Prompt Tuning
- arxiv url: http://arxiv.org/abs/2607.28967v1
- Date: Fri, 31 Jul 2026 02:43:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.574553
- Title: Visual Distribution Anchoring for Efficient Prompt Tuning
- Title(参考訳): 効率的なプロンプトチューニングのための視覚分布アンカリング
- Abstract要約: トレーニング不要なターゲット適応フレームワークであるVDA(Visual Distribution Anchoring)を提案する。
未ラベルのターゲットプールからオフラインで推定されるクラスレベルのビジュアルプロトタイプを備えたフリーズセマンティック分類器を拡張する。
クラス固有のパーティショニングドライブが向上し,視覚的に局所的な擬似ラベルエラーが,クラス非誤りであるにもかかわらず有用であることを示す。
- 参考スコア(独自算出の注目度): 0.6918455480131249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt tuning adapts vision--language models with few trainable parameters, but existing approaches trade off efficiency and adaptation: static textual prompts can overfit source classes, image-conditioned prompts add per-instance computation, and multimodal tuning modifies the visual branch. We propose VDA (Visual Distribution Anchoring), a training-free target adaptation framework that augments a frozen semantic classifier with class-level visual prototypes estimated offline from an unlabeled target pool. We first ask whether prototypes can be synthesized from class names. A text-to-centroid mapper reconstructs held-out source prototypes but fails under dataset shift because class names specify semantic identity, not target-domain appearance. An oracle analysis confirms that true target prototypes are highly discriminative. VDA therefore uses frozen semantic and domain-template classifiers to partition unlabeled target images into class-correlated groups. Confidence-ranked image features form normalized prototypes, fused with the semantic classifier using one global weight. Adaptation requires no target labels, target-side optimization, uniform class-prior assumption, iterative refinement, or test-query access, and yields a fixed, cacheable classifier. Controlled experiments show that class-specific partitioning drives gains and that visually local pseudo-label errors can remain useful despite being class-incorrect. Across ten ImageNet-to-target transfers, the same frozen design improves zero-shot CLIP, TCP, and MaPLe by 3.22, 3.39, and 3.35 points, respectively, improving nine of ten targets in every setting. Its visual correction further improves leakage-free PromptKD by 2.79 points, complementing zero-shot, source-prompted, multimodal-prompted, and target-distilled classifiers.
- Abstract(参考訳): 静的テキストプロンプトはソースクラスに過度に適合し、画像条件付きプロンプトはインスタンスごとの計算を追加し、マルチモーダルチューニングはビジュアルブランチを変更する。
VDA(Visual Distribution Anchoring)は,未ラベルのターゲットプールからオフラインで推定されるクラスレベルのビジュアルプロトタイプを用いて,凍結したセマンティック分類器を増強する,トレーニング不要なターゲット適応フレームワークである。
まず、クラス名からプロトタイプを合成できるかどうかを問う。
テキストからセンタロイドのマッパーは、ソースプロトタイプのホールドアウトを再構築するが、クラス名がターゲットドメインの外観ではなくセマンティックIDを指定するため、データセットシフトで失敗する。
オラクル分析は、真のターゲットプロトタイプが極めて差別的であることを確認した。
したがって、VDAはフリーズセマンティクスとドメインテンプレート分類器を使用して、ラベル付けされていないターゲット画像をクラス関連グループに分割する。
信頼度の高い画像特徴は正規化されたプロトタイプを形成し、1つのグローバルウェイトを用いて意味分類器と融合する。
適応には、ターゲットラベル、ターゲット側最適化、一様クラス-プライア仮定、反復リファインメント、テスト-クエリアクセスが不要で、固定キャッシュ可能な分類器が生成される。
制御された実験により、クラス固有のパーティショニングは向上し、視覚的に局所的な擬似ラベルエラーは、クラスが正しくないにもかかわらず有用であることが示されている。
ImageNet-to-target転送10箇所で、同じフリーズデザインでゼロショットのCLIP、TCP、MaPLeを3.22ポイント、3.39ポイント、3.35ポイント改善し、各設定で10のターゲットのうち9つを改善している。
その視覚的補正により、ゼロショット、ソースプロンプト、マルチモーダルプロンプト、ターゲット蒸留された分類器を補完し、漏れのないプロンプトKDをさらに2.79ポイント改善する。
関連論文リスト
- G2D: Generative-to-Discriminative Collaborative Inference for Zero-Shot Image Classification [14.607727417863273]
G2Dは、生成的なVLMを使用して、CLIP検索候補を画像に対して検証する、トレーニング不要のフレームワークである。
平均精度は68.85%、CLIPは59.35%、スタンドアロンのVLMは63.11%である。
また、DCLIP、WaffleCLIP、CuPLに移行し、識別的提案と生成的視覚的推論の実践的なインターフェースをサポートする。
論文 参考訳(メタデータ) (2026-08-27T07:34:07Z) - Prompt-and-Transfer: Dynamic Class-aware Enhancement for Few-shot Segmentation [15.159690685421586]
本稿では、人間の視覚知覚パターンを模倣し、プロンプト・アンド・トランスファー(PAT)と呼ばれる、新しい強力なプロンプト駆動方式を提案する。
PATは、現在のタスクで関心のあるオブジェクト(ターゲットクラス)にフォーカスするためにエンコーダをチューニングするための動的クラス認識プロンプトパラダイムを構築します。
驚いたことに、PATは標準のFSS、クロスドメインのFSS、Wak-label、Zero-shot-labelを含む4つのタスクで競合するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-09-16T15:24:26Z) - DPA: Dual Prototypes Alignment for Unsupervised Adaptation of Vision-Language Models [7.649900082537232]
本研究では,視覚-テクスチュアルモデルのための教師なしドメイン適応手法であるDPAを紹介する。
双対プロトタイプの概念を導入し、出力の凸結合とともに別個の分類器として機能する。
それは、特に初期の訓練において、堅牢な自己訓練を促進するために擬似ラベルをランク付けする。
13の下流視覚タスクの実験では、DPAはゼロショットCLIPと最先端の教師なし適応ベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2024-08-16T17:30:27Z) - Transductive Zero-Shot and Few-Shot CLIP [24.592841797020203]
本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。
推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。
提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
論文 参考訳(メタデータ) (2024-04-08T12:44:31Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-24T17:56:46Z) - ReCLIP: Refine Contrastive Language Image Pre-Training with Source Free
Domain Adaptation [20.57370550156505]
ReCLIPは、ヴィジュアル言語モデルのための、ソースフリーなドメイン適応手法である。
ReCLIPは、22の画像分類ベンチマークにおいて、CLIPの平均エラー率を30.17%から25.06%に下げることを示した。
論文 参考訳(メタデータ) (2023-08-04T18:11:40Z) - Diffusion Visual Counterfactual Explanations [51.077318228247925]
VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。
VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。
本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
論文 参考訳(メタデータ) (2022-10-21T09:35:47Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳(メタデータ) (2022-06-07T02:03:06Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-09T08:14:50Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳(メタデータ) (2021-04-19T08:46:08Z) - Fine-Grained Visual Classification with Efficient End-to-end
Localization [49.9887676289364]
本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。
我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
論文 参考訳(メタデータ) (2020-05-11T14:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。