論文の概要: When to Trust the Answer: Question-Aligned Semantic Nearest Neighbor Entropy for Safer Surgical VQA

• arxiv url: http://arxiv.org/abs/2511.01458v1
• Date: Mon, 03 Nov 2025 11:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.234476
• Title: When to Trust the Answer: Question-Aligned Semantic Nearest Neighbor Entropy for Safer Surgical VQA
• Title（参考訳）: 安全なVQAのための質問アライメント型セマンティック近辺エントロピー
• Authors: Dennis Pierantozzi, Luca Carlini, Mauro Orazio Drago, Chiara Lena, Cesare Hassan, Elena De Momi, Danail Stoyanov, Sophia Bano, Mobarak I. Hoque,
• Abstract要約: VQA(Visual Question Answering)を手術に導入するには,安全性と信頼性が不可欠である。 我々は、より安全な意思決定の鍵となる不確実性推定について検討する。 ブラックボックスの不確実性推定器であるQA-SNNEを導入する。
• 参考スコア（独自算出の注目度）: 11.804829233549704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety and reliability are essential for deploying Visual Question Answering (VQA) in surgery, where incorrect or ambiguous responses can harm the patient. Most surgical VQA research focuses on accuracy or linguistic quality while overlooking safety behaviors such as ambiguity awareness, referral to human experts, or triggering a second opinion. Inspired by Automatic Failure Detection (AFD), we study uncertainty estimation as a key enabler of safer decision making. We introduce Question Aligned Semantic Nearest Neighbor Entropy (QA-SNNE), a black box uncertainty estimator that incorporates question semantics into prediction confidence. It measures semantic entropy by comparing generated answers with nearest neighbors in a medical text embedding space, conditioned on the question. We evaluate five models, including domain specific Parameter-Efficient Fine-Tuned (PEFT) models and zero-shot Large Vision-Language Models (LVLMs), on EndoVis18-VQA and PitVQA. PEFT models degrade under mild paraphrasing, while LVLMs are more resilient. Across three LVLMs and two PEFT baselines, QA-SNNE improves AUROC in most in-template settings and enhances hallucination detection. The Area Under the ROC Curve (AUROC) increases by 15-38% for zero-shot models, with gains maintained under out-of-template stress. QA-SNNE offers a practical and interpretable step toward AFD in surgical VQA by linking semantic uncertainty to question context. Combining LVLM backbones with question aligned uncertainty estimation can improve safety and clinician trust. The code and model are available at https://github.com/DennisPierantozzi/QASNNE
• Abstract（参考訳）: VQA(Visual Question Answering, VQA)を手術に導入するには, 安全性と信頼性が不可欠である。 多くの外科的VQA研究は、曖昧さの認識、人間の専門家への紹介、または第2の意見の引き金となるような安全行動を見越しながら、正確さや言語的品質に焦点を当てている。 自動故障検出 (AFD) にインスパイアされ, 安全意思決定の鍵となる不確実性推定について検討した。 本稿では,質問意味論を予測信頼性に組み込んだブラックボックスの不確実性推定器QA-SNNEを紹介する。 医療用テキスト埋め込み空間において, 生成した回答と近隣住民の回答を比較し, セマンティックエントロピーを測定する。 我々は,EndoVis18-VQA と PitVQA を用いて,ドメイン固有パラメータ効率(PEFT)モデルとゼロショットLVLM(Large Vision-Language Models)モデルを含む5つのモデルを評価する。 PEFTモデルは軽微な言い換えで劣化し、LVLMはより弾力性がある。 3つのLVLMと2つのPEFTベースラインにまたがって、QA-SNNEはAUROCをほとんどのリアルタイム設定で改善し、幻覚検出を強化する。 ROC曲線下の領域(AUROC)は、ゼロショットモデルでは15～38%増加し、時間外ストレス下で利得が維持される。 QA-SNNEは、意味的不確実性と質問コンテキストをリンクすることにより、外科的VQAにおけるAFDに向けた実用的で解釈可能なステップを提供する。 LVLMバックボーンと疑問に整合した不確実性推定を組み合わせることで、安全性と臨床信頼が向上する。 コードとモデルはhttps://github.com/DennisPierantozzi/QASNNEで公開されている。

関連論文リスト

• Decoupling Clinical and Class-Agnostic Features for Reliable Few-Shot Adaptation under Shift [12.373281238541296]
  医療ビジョン言語モデル(VLM)は、臨床診断支援を約束するが、分布シフトによる信頼性は、安全なデプロイメントにとって大きな関心事である。 そこで我々はDRiFtを提案する。DRiFtは機能分離フレームワークで、臨床的に関連する信号をタスク非依存のノイズから明確に分離する。 提案手法は,従来のプロンプトベースの手法に比べて,Top-1精度+11.4%,Macro-F1+3.3%向上する。
  論文  参考訳（メタデータ） (2025-09-11T12:26:57Z)
• SURE-VQA: Systematic Understanding of Robustness Evaluation in Medical VQA Tasks [2.033441577169909]
  VLM(Vision-Language Models)は、VQA(Visual Question Answering)のような医療タスクにおいて大きな可能性を秘めている。 目に見えないデータに対する分散シフトに対する堅牢性は、安全なデプロイメントにとって重要な関心事です。 私たちは、現在の落とし穴を克服する3つの重要な要件を中心に、SURE-VQAと呼ばれる新しいフレームワークを紹介します。
  論文  参考訳（メタデータ） (2024-11-29T13:22:52Z)
• Which Client is Reliable?: A Reliable and Personalized Prompt-based Federated Learning for Medical Image Question Answering [51.26412822853409]
  本稿では,医学的視覚的質問応答(VQA)モデルのための,パーソナライズド・フェデレーションド・ラーニング(pFL)手法を提案する。 提案手法では,学習可能なプロンプトをTransformerアーキテクチャに導入し,膨大な計算コストを伴わずに,多様な医療データセット上で効率的にトレーニングする。
  論文  参考訳（メタデータ） (2024-10-23T00:31:17Z)
• Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond [52.246494389096654]
  本稿ではワードシーケンスエントロピー(WSE)を紹介し,単語レベルとシーケンスレベルの不確実性を校正する手法を提案する。 We compare WSE with six baseline method on five free-form medical QA datasets, using 7 popular large language model (LLMs)。
  論文  参考訳（メタデータ） (2024-02-22T03:46:08Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly [100.60560477391732]
  我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。 私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。 最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。 これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
  論文  参考訳（メタデータ） (2022-04-28T16:51:27Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。