論文の概要: Right Answer, Wrong Reason: Accuracy, Consistency, and Consensus Are Misleading Indicators of LLM Faithfulness in Clinical Decision Support
- arxiv url: http://arxiv.org/abs/2609.32817v1
- Date: Sat, 26 Sep 2026 17:44:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 19:59:59.854024
- Title: Right Answer, Wrong Reason: Accuracy, Consistency, and Consensus Are Misleading Indicators of LLM Faithfulness in Clinical Decision Support
- Title（参考訳）: 正しい答え, 誤り: 正確性, 一貫性, コンセンサスは, 臨床診断支援におけるLCMの忠実度を誤解させる指標である
- Abstract要約: 我々は150のMedQA-USMLE質問に対して6つの臨床大言語モデル(LLMs)を評価した。
対象となった臨床概念の23.3%が因果的に必要であることが判明した。
これらの結果から, 精度, 一貫性, コンセンサスは, 臨床的意思決定支援に不完全な安全信号であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical Large Language Models (LLMs) achieve strong medical-exam accuracy; however, a correct answer does not guarantee that the explanation names the concepts that actually drove the decision. We introduce three lightweight, directly interpretable metrics for this faithfulness gap: the Explanation Stability Index (ESI), which measures reasoning consistency across repeated queries; the Causal Faithfulness Score (CFS), which tests whether cited concepts drive predictions via concept ablation; and the Perturbation Stability Score (PSS), which measures robustness to semantic-preserving paraphrases. By evaluating six LLMs on 150 MedQA-USMLE questions (900 model-question observations), we found that only 23.3% of the cited clinical concepts were causally necessary. Correct answers had lower CFS than incorrect answers (0.212 vs. 0.398), answer consistency negatively predicted CFS (Spearman r = -0.466), and model pairs could agree on answers while sharing only 8.8% of cited reasoning concepts. These results show that accuracy, consistency, and consensus are incomplete safety signals for clinical decision-making support. The evidence is behavioral rather than mechanistic: concept ablation tests counterfactual sensitivity of outputs, not internal circuits.
- Abstract（参考訳）: 臨床大言語モデル (LLMs) は、強い医療・検査精度を達成するが、正しい答えは、その説明が実際に決定を導いた概念を名付けることを保証しない。
本稿では、この忠実度ギャップに対する軽量で直接解釈可能な指標として、繰り返しクエリ間の一貫性を測る説明安定度指標(ESI)、引用概念が概念アブレーションによって予測を駆動するかどうかを検証するCausal Faithfulness Score(CFS)、意味保存パラフレーズに対する堅牢性を測定する摂動安定度スコア(PSS)の3つを紹介する。
150 の MedQA-USMLE 質問に対する 6 つの LLM の評価 (900 のモデル探索観測) により, 引用された臨床概念の23.3% が因果的に必要であることが判明した。
正解は正解よりもCFSが低く(0.212 vs. 0.398)、解の整合性は負に予測され(Spearman r = -0.466)、モデルペアは引用された推論概念の8.8%しか共有できない。
これらの結果から, 精度, 一貫性, コンセンサスは, 臨床的意思決定支援に不完全な安全信号であることが示唆された。
概念アブレーションは内部回路ではなく出力の反実感度をテストする。
関連論文リスト
- When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment [76.62469105933384]
大規模言語モデル (LLM) は、ある答えにたどり着くためのショートカットを頼りにし、その決定を合理化する。
ConfLensは、推論を通じて最終的な回答における信頼の進化を追跡するフレームワークです。
本稿では,解答コミットメントに対する確率分布のエントロピーを測定するために,DACS(Distributal Answer Commitment Score)を提案する。
論文 参考訳（メタデータ） (2026-09-28T13:00:25Z) - How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures [17.423679874903062]
本稿では,科学的図形理解のための診断用VLMベンチマークであるSciFigBenchを紹介する。
不確実性の下で、認識、推論、行動の信頼性を共同で評価する。
以上の結果から,モデル間での行動的差異が明らかとなった。
論文 参考訳（メタデータ） (2026-08-13T14:06:35Z) - Position, Not Provenance: Separating Reasoning Mediation from Sycophancy in Medical Vision-Language Models [0.0]
医療ビジョン言語モデルは、臨床的な疑問に答える前に連鎖推論を生成する。
CoT-Mediateは、モデルが生成する推論の中で、単一の臨床的に有意な属性を摂動させる行動的枠組みである。
LLaVA-MedとMedGemmaを1000VQA-RADサンプルで評価した。
論文 参考訳（メタデータ） (2026-07-29T17:11:52Z) - CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine [9.346299965194746]
CLEAR(CLinical Evaluation of Ambiguity and Reliability)フレームワークについて紹介する。
CLEARは、妥当な回答オプションの数、根拠となる真実または棄権オプションの存在、および回答オプションの意味的なフレーミングを混乱させる。
17の医療用大言語モデルで評価された3つのベンチマークにCLEARを適用すると、3つの注目すべき制限が明らかになる。
論文 参考訳（メタデータ） (2026-05-01T18:23:24Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning [0.0]
我々は,広く使用されている3つの大規模言語モデルの中で,医学的推論における忠実度を体系的に評価する。
CoT推論のステップは、しばしば予測を因果的に駆動せず、モデルは、認識せずに容易に外部ヒントを組み込む。
論文 参考訳（メタデータ） (2026-03-14T15:30:53Z) - MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning [7.167933033102407]
重篤な症状と症状を一定に保ちながら,患者代名詞のみを摂動する反ファクト・ベンチマークであるMEDEQUALQAを紹介する。
我々は、GPT-4.1モデルを評価し、代名詞の変種間の安定性を測定するために、推論トレース間のセマンティックテキスト類似性(STS)を計算する。
以上の結果から,総じて高い類似性(平均STS >0.80)を示した。
論文 参考訳（メタデータ） (2025-10-09T22:12:58Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳（メタデータ） (2024-07-20T11:19:58Z) - Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。
このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。
人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
論文 参考訳（メタデータ） (2024-04-16T23:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。