論文の概要: Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning
- arxiv url: http://arxiv.org/abs/2603.13988v1
- Date: Sat, 14 Mar 2026 15:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.527473
- Title: Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning
- Title（参考訳）: ファイントフルかただプラウシブルか : 医療推論におけるクローズドソースLCMの忠実度の評価
- Abstract要約: 我々は,広く使用されている3つの大規模言語モデルの中で,医学的推論における忠実度を体系的に評価する。
CoT推論のステップは、しばしば予測を因果的に駆動せず、モデルは、認識せずに容易に外部ヒントを組み込む。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Closed-source large language models (LLMs), such as ChatGPT and Gemini, are increasingly consulted for medical advice, yet their explanations may appear plausible while failing to reflect the model's underlying reasoning process. This gap poses serious risks as patients and clinicians may trust coherent but misleading explanations. We conduct a systematic black-box evaluation of faithfulness in medical reasoning among three widely used closed-source LLMs. Our study consists of three perturbation-based probes: (1) causal ablation, testing whether stated chain-of-thought (CoT) reasoning causally influences predictions; (2) positional bias, examining whether models create post-hoc justifications for answers driven by input positioning; and (3) hint injection, testing susceptibility to external suggestions. We complement these quantitative probes with a small-scale human evaluation of model responses to patient-style medical queries to examine concordance between physician assessments of explanation faithfulness and layperson perceptions of trustworthiness. We find that CoT reasoning steps often do not causally drive predictions, and models readily incorporate external hints without acknowledgment. In contrast, positional biases showed minimal impact in this setting. These results underscore that faithfulness, not just accuracy, must be central in evaluating LLMs for medicine, to ensure both public protection and safe clinical deployment.
- Abstract（参考訳）: ChatGPT(英語版)やGemini(英語版)などのオープンソース・大型言語モデル(LLM)は、医学的アドバイスを求める声が高まっているが、それらの説明はモデルの基本的推論過程を反映していないように思える。
このギャップは、患者や臨床医が一貫性はあるが誤解を招く説明を信用する可能性があるため、深刻なリスクを引き起こす。
医学的推論における信頼度をブラックボックスで体系的に評価する。
本研究は3つの摂動型プローブから成っている。(1)因果的アブレーション,(2)因果的思考の連鎖(CoT)推論が予測に因果的影響を及ぼすかどうか,(2)モデルが入力位置によって引き起こされる回答に対するポストホック正当性を生成するかどうか,(3)ヒント注入,外部提案に対する感受性をテストする。
我々は,これらの定量的調査を,患者スタイルの医療クエリに対するモデル応答の小規模人為的評価と補完し,医師による説明忠実度の評価と信頼感の素人認識の一致を検証した。
CoT推論のステップは、しばしば予測を因果的に駆動せず、モデルは、認識せずに容易に外部ヒントを組み込む。
対照的に、位置バイアスは、この設定に最小限の影響を示した。
これらの結果は, 医療用LSMの評価において, 信頼感が重要であり, 公衆の保護と安全な臨床展開の両面において重要であることを裏付けるものである。
関連論文リスト
- Position, Not Provenance: Separating Reasoning Mediation from Sycophancy in Medical Vision-Language Models [0.0]
医療ビジョン言語モデルは、臨床的な疑問に答える前に連鎖推論を生成する。
CoT-Mediateは、モデルが生成する推論の中で、単一の臨床的に有意な属性を摂動させる行動的枠組みである。
LLaVA-MedとMedGemmaを1000VQA-RADサンプルで評価した。
論文 参考訳（メタデータ） (2026-07-29T17:11:52Z) - Evaluating Large Language Models on Misconceptions in Multi-Turn Medical Conversations [5.63130104359934]
ThReadMed-QAは、2,437人の患者と物理学者の会話スレッドのマルチターン医療対話データセットである。
このデータセットは、モデルがマルチターンコンテキスト下で誤解を検出し、修正できるかどうかを体系的に評価することを可能にする。
実験では、単一相互作用における誤解に対処できるフロンティアモデルでさえ、その後のターンよりも大幅に劣化する、一貫したパターンを明らかにした。
論文 参考訳（メタデータ） (2026-07-14T15:30:37Z) - Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。
我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文 参考訳（メタデータ） (2026-03-26T19:01:55Z) - Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。
本ベンチマークでは,3種類の医療データを統合し,診断を行う。
本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
論文 参考訳（メタデータ） (2026-01-22T04:51:39Z) - Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。
本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
論文 参考訳（メタデータ） (2026-01-11T02:20:40Z) - Towards Transparent Reasoning: What Drives Faithfulness in Large Language Models? [8.042664286747419]
大きな言語モデル(LLM)は、しばしば、予測を駆動する要因を忠実に反映しない説明を生成する。
我々は、推論とトレーニング時の選択が、実践者がデプロイ時に制御できる要因に焦点をあてて、説明の忠実さを形作る方法について研究する。
論文 参考訳（メタデータ） (2025-10-28T09:43:49Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions [46.60244609728416]
言語モデル (LMs) は, 予後不良のリスクが高まれば, 臨床実習におけるモデルの実用性に対するリトマステストにはならない可能性がある, メンタルヘルスの分野では, 言語モデル (LMs) が提案されている。
ウェルネス次元(WD)の同定におけるLMの堅牢性と説明性に着目した評価設計を提案する。
LM/LLMの4つの驚くべき結果が明らかになった。
論文 参考訳（メタデータ） (2024-06-17T19:50:40Z) - Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。
医療対話生成のためのエンドツーエンドの変分推論手法を提案する。
行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
論文 参考訳（メタデータ） (2021-05-13T04:14:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。