論文の概要: Prompt-Induced Score Variance in Zero-Shot Binary Vision-Language Safety Classification
- arxiv url: http://arxiv.org/abs/2605.00326v1
- Date: Fri, 01 May 2026 01:06:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.807224
- Title: Prompt-Induced Score Variance in Zero-Shot Binary Vision-Language Safety Classification
- Title（参考訳）: ゼロショット二眼視-言語安全分類におけるプロンプト誘発スコア変動
- Abstract要約: クロスプロンプト分散は、プロンプトレベルの不一致とより高いエラーと強く関連している。
トレーニングフリーの平均アンサンブルは、14のデータセットモデル評価ペアすべてでNLLを改善する。
ゼロショットVLMの第1スコアに対する信頼性ストレステストとみなす。
- 参考スコア（独自算出の注目度）: 43.86209535250233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-prompt first-token probabilities from zero-shot vision-language model (VLM) safety classifiers are treated as decision scores, but we show they are unreliable under semantically equivalent prompt reformulation: even when the binary label is constrained to a fixed output position, equivalent prompts can induce materially different unsafe probabilities for the same sample. Across multimodal safety benchmarks and multiple VLM families, cross-prompt variance is strongly associated with prompt-level disagreement and higher error, making it a useful fragility diagnostic. A training-free mean ensemble improves NLL on all 14 dataset-model evaluation pairs and ECE on 12/14 relative to a train-selected single-prompt baseline, and wins more head-to-head NLL comparisons than labeled temperature scaling, Platt scaling, and isotonic regression applied to the same prompt. Ranking gains are consistent against the train-selected baseline on both AUROC and AUPRC, and against the full 15-prompt distribution remain consistent on AUPRC while softening on AUROC. Labeled calibration on top of the mean provides further gains when labels are available, identifying prompt averaging as a strong label-free first stage rather than a replacement for calibration. We frame this as a reliability stress test for zero-shot VLM first-token safety scores and recommend prompt-family evaluation with mean aggregation as a standard label-free reliability baseline.
- Abstract（参考訳）: ゼロショット視覚言語モデル(VLM)の安全性分類器からの単発ファーストトケン確率は、決定スコアとして扱われるが、意味論的に等価なプロンプト修正の下では信頼できない。
マルチモーダル安全性ベンチマークと複数のVLMファミリーで、クロスプロンプトのばらつきは、迅速なレベルの不一致とより高いエラーと強く関連しているため、脆弱性診断に有用である。
トレーニングフリーの平均アンサンブルは、列車選択された単発ベースラインと比較して、14のデータセットモデル評価ペアとECEのすべてにおいてNLLを改善し、同じプロンプトに適用されたラベル付き温度スケーリング、Plattスケーリング、アイソトニックレグレッションよりもヘッドツーヘッドのNLL比較に勝利する。
ランキングゲインはAUROCとAUPRCの両方の列車選択ベースラインと一致しており、AUPRCでは15プロンプトの分布が一定であり、AUROCではソフト化されている。
平均値の上のラベル付きキャリブレーションは、ラベルが利用可能になったときにさらに向上し、キャリブレーションの代替ではなく、プロンプト平均化を強力なラベルフリー第1ステージとして特定する。
我々はこれをゼロショットVLMファーストトーケンセーフティスコアの信頼性ストレステストとみなし、平均アグリゲーションを用いたグループ評価を標準ラベルフリーの信頼性ベースラインとして推奨する。
関連論文リスト
- Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳（メタデータ） (2026-09-15T11:19:03Z) - Multi-Label Test-Time Adaptation with Bayesian Conditional Priors [15.878958356965159]
Conditional Priors Estimation (BCP) は、バックボーンをチューニングせずにラベル依存性を注入する勾配のないテスト時間適応法である。
BCPは、未ラベルのテストストリームからアンカー条件の事前値をオンラインで推定することで、ターゲットアノテーションなしで動作します。
BCPは、標準のマルチラベルベンチマークと複数のCLIPバックボーンで、強力なTTAベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-06-11T05:29:00Z) - LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。
本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。
texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
論文 参考訳（メタデータ） (2026-02-19T16:45:38Z) - SCOPE: Selective Conformal Optimized Pairwise LLM Judging [16.73004625486562]
大規模言語モデル (LLMs) は、コストのかかる人間の選好ラベルをペア評価で置き換えるために、裁判官としてますます使われている。
実用性にも拘わらず、LLMの審査員は、誤校正や体系的な偏見に悩まされる傾向にある。
本稿では,有限サンプル統計保証から選択的に判断するフレームワークであるSCOPEを提案する。
論文 参考訳（メタデータ） (2026-02-13T17:10:43Z) - Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。
既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。
分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
論文 参考訳（メタデータ） (2025-12-19T16:58:31Z) - Learning Robust Representations for Malicious Content Detection via Contrastive Sampling and Uncertainty Estimation [0.0]
不確実性コントラストフレームワーク(UCF)は、不確実性を考慮したコントラスト損失、適応温度スケーリング、自己注意誘導型LSTMエンコーダを統合し、ノイズおよび不均衡条件下での分類を改善する。
UCFはサンプルの信頼度に基づいて対照的な重み付けを動的に調整し、正のアンカーを用いたトレーニングを安定化し、温度パラメータをバッチレベルの可変性に適応させる。
論文 参考訳（メタデータ） (2025-12-01T22:06:06Z) - Reliable Active Learning from Unreliable Labels via Neural Collapse Geometry [5.1511135538176]
アクティブラーニング(AL)は、情報的なサンプルを優先順位付けすることでアノテーションのコストを削減することを約束するが、ラベルがうるさい場合やデータ分散がシフトした場合、その信頼性は低下する。
本稿では,深層ネットワークの創発的幾何学的規則性を活用し,信頼できない監視に対処するフレームワークである能動学習(NCAL-R)を提案する。
論文 参考訳（メタデータ） (2025-10-10T17:50:31Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。