論文の概要: Beyond Accuracy: Counterfactual Fragility and Demographic Bias in Clinical Evaluation of LLMs
- arxiv url: http://arxiv.org/abs/2609.32807v1
- Date: Sat, 26 Sep 2026 17:28:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 20:03:44.004204
- Title: Beyond Accuracy: Counterfactual Fragility and Demographic Bias in Clinical Evaluation of LLMs
- Title（参考訳）: LLMの臨床的評価における非現実的脆弱性とデモグラフィックバイアス
- Abstract要約: 我々は,150のMedQA USMLE質問に対して,2つの自動摂動試験を用いて6つのLSMを評価し,その性能を評価した。
OpenBioLLMは回答変更率とEDDが最も高かったが, GLMはステレオタイプフラグレートが最も高かった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical LLM evaluation often emphasizes answer accuracy; however, accuracy alone does not test counterfactual consistency or demographic robustness. We evaluated six LLMs on 150 MedQA USMLE questions using two automated perturbation tests to assess their performance. The counterfactual validity (CFV) test asked each model to make a minimal, plausible clinical change that would make a different answer correct. The demographic robustness test added six demographic prefixes to the same vignette and compared the answers and explanations with a no demographic baseline. Of the 900 CFV attempts, 228 (25.3 %) were valid and 672 were invalid. Across 5,400 demographic comparisons, 1,097 answers were changed (20.3%). Automated judging identified 3,128 stereotype evidence flags, including 1,932 in the broad Other category. MedGemma 27B achieved the highest accuracy (87.1%) and CFV (63.3%), lowest answer change rate (16.0%), and low mean Explanation Demographic Dissonance (EDD) score (0.169). However, its accuracy still exceeded its CFV, indicating that correct answers do not guarantee reliable performance on the counterfactual validity task. OpenBioLLM had the highest answer change rate and EDD, whereas GLM had the highest stereotype flag rate. These findings show that accuracy, CFV, answer stability, EDD, and stereotype evidence capture different evaluation aspects. Because all judgments were automated and no clinician validation was available, the results support safety screening but do not establish clinical deployability of the model.
- Abstract（参考訳）: 臨床LSM評価は、答えの正確性を強調することが多いが、精度だけでは、反事実的一貫性や人口統計学的堅牢性をテストすることはできない。
我々は,150のMedQA USMLE質問に対して,2つの自動摂動試験を用いて6つのLSMを評価し,その性能を評価した。
副作用妥当性(CFV)テストでは、各モデルに対して、異なる回答を正す最小限の、妥当な臨床変更を依頼した。
人口統計学的ロバスト性試験では、6つの人口統計学的接頭辞を同じヴィグネットに追加し、回答と説明を人口統計学的ベースラインと比べた。
900回のCFV試験のうち、228件(25.3%)が有効であり、672件が無効となった。
人口比較では5,400人中1,097人の回答が変更された(20.3%)。
自動で3,128個のステレオタイプエビデンスフラグが識別され、そのうち1,932個がその他のカテゴリーに含まれる。
MedGemma 27B は最高精度 (87.1%) と CFV (63.3%) 、最低解答率 (16.0%) 、低平均解答復調 (EDD) スコア (0.169) を達成した。
しかし、その精度は依然としてCFVを超えており、正解が反現実的妥当性タスクの信頼性を保証していないことを示している。
OpenBioLLMは回答変更率とEDDが最も高かったが, GLMはステレオタイプフラグレートが最も高かった。
これらの結果は, 精度, CFV, 解答安定性, EDD, ステレオタイプエビデンスが異なる評価面を捉えていることを示している。
すべての判断が自動化され,臨床検査が得られなかったため,安全性検査はサポートされたが,臨床展開性は確立されなかった。
関連論文リスト
- Benchmarking Open-Source Speech Emotion Recognition in Naturalistic Mandarin Spine Clinic Consultations: A Pilot Validation Study [5.110846032142439]
音声感情認識(SER)は、臨床診断における受動的影響モニタリングを可能にする。
我々は,3つのオープンソースSERモデルを,自然主義的スピン・クリニック音声における研究者合意基準と比較した。
高いインターモデル(90.8%)にもかかわらず、全てのモデルはサッド、フィア、アンガー、ニュートラル、サプライズドをほぼゼロにリコールした。
論文 参考訳（メタデータ） (2026-08-24T13:36:23Z) - Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations [3.765860543344957]
証拠保存摂動下での4つのVLMファミリーの診断的ロバスト性について検討した。
以上の結果から,48.9%のケースで予測反転を示すモデルを用いて,プレゼンテーション順序安定性の重大な脆弱性を明らかにした。
論文 参考訳（メタデータ） (2026-08-05T14:09:55Z) - MamaBench: Benchmarking LLM Robustness in Maternal and Child Health Diagnosis through Counterfactual Clinical Perturbation [0.49454229616760287]
大規模言語モデルは医学ベンチマークで強いスコアを得るが、これらのベンチマークはそれぞれの質問を独立して評価する。
ママベンチ(MamaBench)は、母体と小児のAIに対する最初のカウンターファクトのベンチマークである。
Evidence-Anchored RAGは,アグリゲート類似性をエビデンスカバレッジの目的に置き換える3段階検索手法である。
論文 参考訳（メタデータ） (2026-07-15T21:56:19Z) - IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings [0.0]
ナイジェリアでは、未分化の胎児病がプライマリケアの外来訪問の主な原因となっている。
大規模言語モデル(LLM)の臨床トリアージ推論を評価するための検証済みのベンチマークは存在しない。
IywBench v1.0は8つの女性病カテゴリにまたがる200種類の合成臨床ヴィニネットのデータセットである。
論文 参考訳（メタデータ） (2026-05-22T10:25:51Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。
我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文 参考訳（メタデータ） (2026-03-26T19:01:55Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - Explainable Admission-Level Predictive Modeling for Prolonged Hospital Stay in Elderly Populations: Challenges in Low- and Middle-Income Countries [65.4286079244589]
長期滞在期間 (pLoS) は, 院内感染のリスクに関連する重要な要因である。
入院レベルの患者と病院の診療データを用いて, pLosの予測モデルを開発し, 解説する。
論文 参考訳（メタデータ） (2026-01-07T23:35:24Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳（メタデータ） (2025-02-26T02:30:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。