論文の概要: Neutral-Reference Prompting for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2605.15615v1
- Date: Fri, 15 May 2026 04:54:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.173859
- Title: Neutral-Reference Prompting for Vision-Language Models
- Title(参考訳): 視覚言語モデルのためのニュートラル参照プロンプト
- Authors: Senmao Tian, Xiang Wei, Shunli Zhang,
- Abstract要約: モデルパラメータを変更することなく、未確認クラスの識別を改善するプラグイン・アンド・プレイ・プロンプト補正戦略であるNeRPを提案する。
我々は,NeRPが未知のクラスに対して,既知のクラス予測性能を維持しながら精度を大幅に向上することを示す。
- 参考スコア(独自算出の注目度): 14.563492336625004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient transfer learning of vision-language models (VLMs) commonly suffers from a Base-New Trade-off (BNT): improving performance on unseen (new) classes often degrades accuracy on known (base) classes. Addressing how to boost recognition of unseen classes without sacrificing known-class performance remains a central challenge. Existing work often simplistically attributes the BNT to overfitting on known classes. We observe an interesting phenomenon: VLMs frequently exhibit asymmetric confusion on certain downstream data, i.e., samples of class A are systematically mispredicted as class B, while the reverse confusion (B to A) rarely occurs. For known classes, this kind of bias can be mitigated by tuning using a cross-entropy loss, but for unseen classes, such pretraining-induced bias persists and harms generalization. Motivated by this, we propose NeRP, a plug-and-play prompting correction strategy that improves discrimination on unseen classes without modifying model parameters. NeRP leverages neutral text prompts and reference images to measure class-wise prior preferences along the pre-trained inter-class geometry, and combines them with the sample likelihood to obtain the model's surrogate score. If, for a given sample, the prior strongly favors the current prediction while the observed evidence is clearly insufficient, we perform a local flip between easily confusable class pairs, thereby correcting prior-dominated mispredictions. Extensive experiments across multiple backbones and 15 few-shot and cross-domain benchmarks show that NeRP substantially improves accuracy on unseen classes while preserving known-class prediction performance.
- Abstract(参考訳): 視覚言語モデル(VLM)の効率的な伝達学習は、一般的にBNT(Base-New Trade-off)に悩まされる。
既知のクラスのパフォーマンスを犠牲にすることなく、目に見えないクラスの認識を高める方法に対処することは、依然として中心的な課題である。
既存の作業はしばしば、BNTが既知のクラスに過度に適合する、という単純な特性を持つ。
例えば、クラスAのサンプルは系統的にクラスBと誤予測されるが、逆の混乱(BからA)は稀である。
既知のクラスでは、このようなバイアスはクロスエントロピー損失を用いたチューニングによって緩和することができるが、目に見えないクラスでは、事前学習によるバイアスは持続し、一般化を損なう。
そこで本研究では,モデルパラメータを変更することなく,未知のクラスに対する識別を改善するプラグイン・アンド・プレイ・プロンプト補正戦略であるNeRPを提案する。
NeRPは、中性テキストプロンプトと参照画像を利用して、事前訓練されたクラス間の幾何に沿ってクラスワイドの優先順位を測定し、それらをサンプルの確率と組み合わせてモデルのサロゲートスコアを得る。
与えられたサンプルに対して、観測された証拠が明らかに不十分である間に、先行者が現在の予測を強く支持するならば、容易に不完全なクラスペア間の局所的なフリップを行い、事前支配された誤予測を補正する。
複数のバックボーンと15の複数ショットおよびクロスドメインベンチマークにわたる大規模な実験は、NeRPが既知のクラス予測性能を維持しながら、未確認クラスの精度を大幅に向上することを示している。
関連論文リスト
- Classification-Head Bias in Class-Level Machine Unlearning: Diagnosis, Mitigation, and Evaluation [0.7991370731695461]
クラスレベルのマシンアンラーニングは、モデルユーティリティを保持しながら、特定のクラスの影響を取り除くことを目的としている。
既存の手法は、保持セット精度、忘れセット精度、未学習時間によって一般に評価される。
我々は,クラスレベルの未学習において,バイアスに支配されるショートカットを明らかにし,最終分類ヘッドの対応するバイアス項を減少させることで,忘れられたクラスの予測を抑えることができる。
論文 参考訳(メタデータ) (2026-05-09T06:33:42Z) - DCAST: Diverse Class-Aware Self-Training Mitigates Selection Bias for Fairer Learning [0.0]
敏感な特徴に代表されないバイアスは 識別が困難で 診断されないのが普通です
未確認バイアスを緩和し、緩和方法を評価するための戦略は不可欠であるが、未調査のままである。
本稿では,クラス固有の偏見を意識したモデル非依存的緩和手法であるDiverse Class-Aware Self-Training (DCAST)を紹介した。
論文 参考訳(メタデータ) (2024-09-30T09:26:19Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。
本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。
我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
論文 参考訳(メタデータ) (2023-08-27T19:01:29Z) - Prediction Error-based Classification for Class-Incremental Learning [39.91805363069707]
予測誤差に基づく分類(PEC)を導入する
PECは、そのクラスのデータに基づいて、凍結ランダムニューラルネットワークの出力を複製するために訓練されたモデルの予測誤差を測定して、クラススコアを算出する。
PECは、サンプル効率、チューニングの容易さ、データを一度に1つのクラスに提示しても有効性など、いくつかの実用的な利点を提供している。
論文 参考訳(メタデータ) (2023-05-30T07:43:35Z) - Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。
条件付き推定は必然的に既約誤差を生じさせることを示す。
経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
論文 参考訳(メタデータ) (2022-06-21T17:46:35Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳(メタデータ) (2022-01-08T07:48:36Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳(メタデータ) (2020-10-05T22:13:21Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳(メタデータ) (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。