論文の概要: When Model Priors Conflict with Visual Evidence: Mitigating Commonsense-Driven Hallucinations by Selective Prior Calibration

• arxiv url: http://arxiv.org/abs/2607.29240v1
• Date: Fri, 31 Jul 2026 10:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.688921
• Title: When Model Priors Conflict with Visual Evidence: Mitigating Commonsense-Driven Hallucinations by Selective Prior Calibration
• Title（参考訳）: モデルが視覚的エビデンスと衝突する時-選択的事前校正によるコモンセンス駆動幻覚の緩和
• Abstract要約: 視覚言語モデルでは、コモンセンス駆動幻覚(Commonsense-driven Hallucination、CDH)は、モデルのコモンセンスが非典型的状態の明確な視覚的証拠を優先するときに発生する。 これらのエラーは体系的に誘導されていることを示す。 画像条件付きスコアから候補レベルの事前予測を抽出する選択優先(SPC)を提案する。
• 参考スコア（独自算出の注目度）: 3.8435661484487045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In vision--language models, commonsense-driven hallucination (CDH) occurs when a model's commonsense prior overrides clear visual evidence of an atypical state. For example, a model may report that a visibly six-fingered hand has five fingers. We show that these errors are systematically directed: when a model answers a question about a counterfactual (CF) image incorrectly, its answer often coincides with the candidate it prefers without access to the image. Suppressing this prior indiscriminately can repair CF errors, but may also disrupt correct answers on matched commonsense (CS) images, where the same prior is helpful. We therefore propose Selective Prior Calibration (SPC), which subtracts candidate-level prior-preference estimates from image-conditioned scores with an instance-dependent strength and revises the original prediction only when the resulting score pattern strongly supports an alternative. Extensive experiments demonstrate that SPC substantially improves accuracy on CF images while largely preserving accuracy on matched CS images. Furthermore, these gains generalize across CDH categories, candidate-answer permutations, and other conflict benchmarks, while SPC rarely alters predictions on benchmarks without such conflicts.
• Abstract（参考訳）: 視覚言語モデルでは、コモンセンス駆動幻覚(Commonsense-driven Hallucination、CDH)は、モデルのコモンセンスが非典型的状態の明確な視覚的証拠を優先するときに発生する。 例えば、あるモデルでは、目に見える6本指の手は5本の指を持っていると報告することができる。 モデルが逆ファクト(CF)イメージに関する質問に誤って答えると、その答えは、画像にアクセスせずに好む候補とよく一致します。 この前者を無差別に抑制することは、CFエラーを修復することができるが、一致したコモンセンス(CS)画像の正しい答えを妨害することもある。 そこで,SPC(Selective Prior Calibration)を提案する。これは,画像条件付きスコアから候補レベルの事前推定をインスタンス依存の強度で減らし,結果のスコアパターンがオルタナティブを強く支持する場合にのみ,元の予測を補正するものである。 大規模な実験により、SPCは一致したCS画像の精度を保ちながら、CF画像の精度を大幅に向上することが示された。 さらに、これらの利得はCDHカテゴリ、候補答え置換、その他の競合ベンチマークにまたがって一般化される一方、SPCはそのような競合なしにベンチマークの予測を変更することは滅多にない。

関連論文リスト

• CAOS: Conformal Aggregation of One-Shot Predictors [0.0]
  ワンショット予測は、1つのラベル付き例のみを使用して、事前訓練された基礎モデルの新しいタスクへの迅速な適応を可能にする。 標準分割コンフォメーション法は、データ分割と単一の予測器への依存のため、ワンショット設定では非効率である。 本稿では,複数のワンショット予測器を適応的に集約するコンフォーマルフレームワークである1ショット予測器のコンフォーマルアグリゲーション(CAOS)を提案する。
  論文  参考訳（メタデータ） (2026-01-08T18:44:21Z)
• Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics [25.374192139098284]
  マルチモーダル評価において,システム障害モードとしての原形質バイアスについて検討する。 我々は、動物、オブジェクト、デモグラフィー画像にまたがる対照ベンチマークProtoBiasを導入する。 以上の結果から,CLIPScore,PickScore,VQAベースのスコアなど,広く使用されているメトリクスが,これらのペアを誤用していることが判明した。 本稿では, 故障率を大幅に低減し, 誤判定を抑える, 頑健な7BパラメータであるProtoScoreを提案する。
  論文  参考訳（メタデータ） (2026-01-08T13:49:14Z)
• DISCO: Mitigating Bias in Deep Learning with Conditional Distance Correlation [5.747779987045882]
  この研究は因果理論と実践的な深層学習を橋渡しし、堅牢な予測のための原則的基礎と効果的なツールを提供する。 5つの多様なデータセットにまたがって、我々の手法は、既存のバイアス軽減アプローチにおいて一貫して優れるか、競争力がある。
  論文  参考訳（メタデータ） (2025-06-13T10:29:03Z)
• Beyond MOS: Subjective Image Quality Score Preprocessing Method Based on Perceptual Similarity [2.290956583394892]
  ITU-R BT.500、ITU-T P.910、ITU-T P.913は、当初の世論点をクリアするために標準化されている。 PSPは画像間の知覚的類似性を利用して、より注釈の少ないシナリオにおける主観的バイアスを軽減する。
  論文  参考訳（メタデータ） (2024-04-30T16:01:14Z)
• Forgery-aware Adaptive Transformer for Generalizable Synthetic Image Detection [106.39544368711427]
  本研究では,様々な生成手法から偽画像を検出することを目的とした,一般化可能な合成画像検出の課題について検討する。 本稿では,FatFormerという新しいフォージェリー適応トランスフォーマー手法を提案する。 提案手法は, 平均98%の精度でGANを観測し, 95%の精度で拡散モデルを解析した。
  論文  参考訳（メタデータ） (2023-12-27T17:36:32Z)
• Uncertainty Quantification via Neural Posterior Principal Components [26.26693707762823]
  不確実性定量化は、画像復元モデルの安全クリティカルドメインへの展開に不可欠である。 本稿では,入力画像の後方分布のPCをニューラルネットワークの単一前方通過で予測する手法を提案する。 提案手法は, インスタンス適応型不確実性方向を確実に伝達し, 後部サンプリングに匹敵する不確実性定量化を実現する。
  論文  参考訳（メタデータ） (2023-09-27T09:51:29Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Evaluating and Mitigating Bias in Image Classifiers: A Causal Perspective Using Counterfactuals [27.539001365348906]
  本稿では、逆学習推論(ALI)の改良版に構造因果モデル(SCM)を組み込むことにより、逆ファクトアルを生成する方法を提案する。 本稿では,事前学習された機械学習分類器の説明方法を示し,そのバイアスを評価し,そのバイアスを正則化器を用いて緩和する方法について述べる。
  論文  参考訳（メタデータ） (2020-09-17T13:19:31Z)
• Self-Calibration Supported Robust Projective Structure-from-Motion [80.15392629310507]
  本稿では,自己校正制約によってマッチングプロセスが支持される統合されたStructure-from-Motion (SfM)法を提案する。 これらの制約を利用して,ロバストなマルチビューマッチングと正確なカメラキャリブレーションを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-07-04T08:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。