論文の概要: Seeing Through the Forgery Is Not Enough: Regressive Sycophancy under Fabricated Evidence in Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.17989v1
- Date: Tue, 13 Oct 2026 08:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.565768
- Title: Seeing Through the Forgery Is Not Enough: Regressive Sycophancy under Fabricated Evidence in Medical Vision-Language Models
- Title(参考訳): 偽造物を見渡すだけでは十分ではない:医療ビジョン-言語モデルにおける創造的エビデンスの下での回帰的シクロファンシー
- Abstract要約: 提案手法は, 偽文書を押返した場合に, モデルが正しい解答を放棄するという, 偽の証拠下での回帰性について検討する。
我々は,400VQA-RADで4つのオープンなVLMをテストする。
我々は、偽造に対する認識が、モデルがその答えを採用するのを防ぐものではないと結論づける。
- 参考スコア(独自算出の注目度): 2.6854561082388506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A medical vision-language model may analyze a given CT scan and correctly detect both kidneys in view. Continuing this conversation, if a user provides a prescription with an opposite direction, medical VLMs often sycophantically choose to realign their diagnosis. In this work, we study regressive sycophancy under fabricated evidence, where a model abandons a correct answer when pushback comes with a fake document. We test four open VLMs on 400 VQA-RAD yes/no questions in 19,200 multi-turn conversations, with and without a fabricated prescription. Without a disclosure that documents are synthetic, the models abandon 80.1% of 6,488 correct answers. Notably, under one script each, the same prescription raises the flip rate of Qwen2.5-VL-7B from 45.9% to 89.6% and lowers that of Qwen3-VL-8B from 77.7% to 50.9%. A model rejected the prescription while still preserving the correct answer in 915 of 3,232 conversations with the prescription (28.3%), and 40% of these flipped in later turns. System-prompt sentences that disclose the documents as synthetic lower one model's flip rate from 77.8% to 47.3%. Thus, we conclude that awareness about a forgery does not prevent a model from adopting its answer.
- Abstract(参考訳): 医療ビジョン言語モデルは、所定のCTスキャンを分析し、両方の腎臓の視界を正しく検出することができる。
この会話を続けて、ユーザーが逆方向の処方薬を提供する場合、医療用VLMは、しばしば、自覚的に診断を実現することを選択します。
本研究は, 偽文書を押返した場合に, モデルが正しい回答を放棄するという, 偽の証拠下での回帰薬効について検討するものである。
我々は,400VQA-RADで4つのオープンなVLMをテストする。
文書が合成されているという情報がないため、モデルは6,488件の正しい回答の80.1%を放棄した。
特筆すべきは、それぞれ1つのスクリプトにおいて、同じ処方はQwen2.5-VL-7Bのフリップレートを45.9%から89.6%に引き上げ、Qwen3-VL-8Bのフリップレートを77.7%から50.9%に下げることである。
モデルは処方薬と3,232回(28.3%)の会話の中で正しい回答を保ちながら処方薬を拒絶し、そのうち40%は後に反転した。
文書を合成1モデルのフリップレートを77.8%から47.3%に下げたシステムプロンプト文。
したがって、偽造に対する意識は、モデルがその答えを採用するのを防ぐものではないと結論づける。
関連論文リスト
- DementiaCare-Bench: A Modality-Validated Video Benchmark [83.92703885588868]
認知症は世界中で推定5700万人に影響を与える。
ほとんどの家族にとって、ケアの最も難しい部分は記憶喪失ではなく、認知症の行動や心理的症状である。
DementiaCare-Bench: 9つのBPSDカテゴリの94クリップに区切られた、プロのケア用トレーニングビデオ56本を提示する。
論文 参考訳(メタデータ) (2026-09-11T14:52:49Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳(メタデータ) (2026-09-07T10:22:22Z) - SDoH-Aware Narrative Anchoring Bias in Medical LLMs for Trustworthy Clinical Decision Support [0.0]
本稿は,SDoHを意識したナラティブアンカーバイアスとしてリスクを評価する。
私たちは,NarrativeShield SDoH MedQAという医療質問応答データセットを使用している。
最終実験では300の臨床ケースを使用し、8,100のモデル応答を生成する。
論文 参考訳(メタデータ) (2026-08-24T04:58:32Z) - NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding [6.217658756255346]
NeuroQAは3次元脳磁気共鳴画像(MRI)における視覚的質問応答のための大規模ベンチマークである
5-104歳と5つの臨床領域(アルツハイマー病、パーキンソン病、腫瘍、白質疾患、神経発達)にまたがる。
NeuroQAは、Yes/No、Multi-choice、オープンエンドフォーマットの11の臨床基礎的推論スキルを評価している。
論文 参考訳(メタデータ) (2026-05-19T21:54:12Z) - MedVIGIL: Evaluating Trustworthy Medical VLMs Under Broken Visual Evidence [24.517280048376758]
medvigilは4つの公開医療用VQAソースから作成された300ケースの評価スイートである。
あらゆるゴールド回答、拒絶オプション、候補答えセット、パラフレーズ、虚偽の前提トラップ、ROIボックス、臨床リスクレベルが臨床著者によって作成される。
メドビニル複合スコア(MCS)に要約した7つの正当性条件監査指標を報告する。
独立した放射線学者は、静電気障害率5.8%でMCS 83.3をスコアし、14.1ポイントの複合ヘッドルームを最強の監査モデルの上に残した。
論文 参考訳(メタデータ) (2026-05-08T15:55:30Z) - ThReadMed-QA: A Multi-Turn Medical Dialogue Benchmark from Real Patient Questions [5.63130104359934]
ThReadMed-QAは、r/AskDocsから抽出された2,437人の患者を検索する会話スレッドのベンチマークである。
我々は,238の会話の階層化テスト分割に基づいて,最先端のLLMを5つ評価した。
最も強いモデルであるGPT-5でさえ41.2%の完全正解しか得られない。
論文 参考訳(メタデータ) (2026-03-11T20:17:57Z) - PSF-Med: Measuring and Explaining Paraphrase Sensitivity in Medical Vision Language Models [2.064612766965483]
19,748個の胸部X線を約92,000個のパラフレーズと組み合わせたベンチマークであるParaphrase Sensitivity Failure (PSF)-Medを紹介する。
同じ画像のイエス/ノーフリップを測定し、フリップ率を8%から58%に設定する。
我々は、フレーミングと相関し、決定マージンシフトを予測するスパース機能を第17層で特定する。
論文 参考訳(メタデータ) (2026-02-24T23:03:50Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳(メタデータ) (2025-09-24T14:09:55Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳(メタデータ) (2025-08-22T08:38:16Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳(メタデータ) (2025-02-26T02:30:44Z) - Reliable Visual Question Answering: Abstain Rather Than Answer
Incorrectly [100.60560477391732]
我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。
私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。
最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。
これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
論文 参考訳(メタデータ) (2022-04-28T16:51:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。