論文の概要: Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning

• arxiv url: http://arxiv.org/abs/2603.13988v1
• Date: Sat, 14 Mar 2026 15:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.527473
• Title: Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning
• Title（参考訳）: ファイントフルかただプラウシブルか : 医療推論におけるクローズドソースLCMの忠実度の評価
• Authors: Halimat Afolabi, Zainab Afolabi, Elizabeth Friel, Jude Roberts, Antonio Ji-Xu, Lloyd Chen, Egheosa Ogbomo, Emiliomo Imevbore, Phil Eneje, Wissal El Ouahidi, Aaron Sohal, Alisa Kennan, Shreya Srivastava, Anirudh Vairavan, Laura Napitu, Katie McClure,
• Abstract要約: 我々は,広く使用されている3つの大規模言語モデルの中で,医学的推論における忠実度を体系的に評価する。 CoT推論のステップは、しばしば予測を因果的に駆動せず、モデルは、認識せずに容易に外部ヒントを組み込む。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Closed-source large language models (LLMs), such as ChatGPT and Gemini, are increasingly consulted for medical advice, yet their explanations may appear plausible while failing to reflect the model's underlying reasoning process. This gap poses serious risks as patients and clinicians may trust coherent but misleading explanations. We conduct a systematic black-box evaluation of faithfulness in medical reasoning among three widely used closed-source LLMs. Our study consists of three perturbation-based probes: (1) causal ablation, testing whether stated chain-of-thought (CoT) reasoning causally influences predictions; (2) positional bias, examining whether models create post-hoc justifications for answers driven by input positioning; and (3) hint injection, testing susceptibility to external suggestions. We complement these quantitative probes with a small-scale human evaluation of model responses to patient-style medical queries to examine concordance between physician assessments of explanation faithfulness and layperson perceptions of trustworthiness. We find that CoT reasoning steps often do not causally drive predictions, and models readily incorporate external hints without acknowledgment. In contrast, positional biases showed minimal impact in this setting. These results underscore that faithfulness, not just accuracy, must be central in evaluating LLMs for medicine, to ensure both public protection and safe clinical deployment.
• Abstract（参考訳）: ChatGPT(英語版)やGemini(英語版)などのオープンソース・大型言語モデル(LLM)は、医学的アドバイスを求める声が高まっているが、それらの説明はモデルの基本的推論過程を反映していないように思える。 このギャップは、患者や臨床医が一貫性はあるが誤解を招く説明を信用する可能性があるため、深刻なリスクを引き起こす。 医学的推論における信頼度をブラックボックスで体系的に評価する。 本研究は3つの摂動型プローブから成っている。(1)因果的アブレーション,(2)因果的思考の連鎖(CoT)推論が予測に因果的影響を及ぼすかどうか,(2)モデルが入力位置によって引き起こされる回答に対するポストホック正当性を生成するかどうか,(3)ヒント注入,外部提案に対する感受性をテストする。 我々は,これらの定量的調査を,患者スタイルの医療クエリに対するモデル応答の小規模人為的評価と補完し,医師による説明忠実度の評価と信頼感の素人認識の一致を検証した。 CoT推論のステップは、しばしば予測を因果的に駆動せず、モデルは、認識せずに容易に外部ヒントを組み込む。 対照的に、位置バイアスは、この設定に最小限の影響を示した。 これらの結果は, 医療用LSMの評価において, 信頼感が重要であり, 公衆の保護と安全な臨床展開の両面において重要であることを裏付けるものである。

関連論文リスト

• Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
  本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。 本ベンチマークでは,3種類の医療データを統合し,診断を行う。 本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T04:51:39Z)
• Towards Transparent Reasoning: What Drives Faithfulness in Large Language Models? [8.042664286747419]
  大きな言語モデル(LLM)は、しばしば、予測を駆動する要因を忠実に反映しない説明を生成する。 我々は、推論とトレーニング時の選択が、実践者がデプロイ時に制御できる要因に焦点をあてて、説明の忠実さを形作る方法について研究する。
  論文  参考訳（メタデータ） (2025-10-28T09:43:49Z)
• WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions [46.60244609728416]
  言語モデル (LMs) は, 予後不良のリスクが高まれば, 臨床実習におけるモデルの実用性に対するリトマステストにはならない可能性がある, メンタルヘルスの分野では, 言語モデル (LMs) が提案されている。 ウェルネス次元(WD)の同定におけるLMの堅牢性と説明性に着目した評価設計を提案する。 LM/LLMの4つの驚くべき結果が明らかになった。
  論文  参考訳（メタデータ） (2024-06-17T19:50:40Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。