論文の概要: MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning

• arxiv url: http://arxiv.org/abs/2510.12818v1
• Date: Thu, 09 Oct 2025 22:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.325543
• Title: MEDEQUALQA: Evaluating Biases in LLMs with Counterfactual Reasoning
• Title（参考訳）: MEDEQUALQA: 逆推論によるLCMのバイアス評価
• Authors: Rajarshi Ghosh, Abhay Gupta, Hudson McBride, Anurag Vaidya, Faisal Mahmood,
• Abstract要約: 重篤な症状と症状を一定に保ちながら,患者代名詞のみを摂動する反ファクト・ベンチマークであるMEDEQUALQAを紹介する。 我々は、GPT-4.1モデルを評価し、代名詞の変種間の安定性を測定するために、推論トレース間のセマンティックテキスト類似性(STS)を計算する。 以上の結果から,総じて高い類似性(平均STS >0.80)を示した。
• 参考スコア（独自算出の注目度）: 7.167933033102407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in clinical decision support, yet subtle demographic cues can influence their reasoning. Prior work has documented disparities in outputs across patient groups, but little is known about how internal reasoning shifts under controlled demographic changes. We introduce MEDEQUALQA, a counterfactual benchmark that perturbs only patient pronouns (he/him, she/her, they/them) while holding critical symptoms and conditions (CSCs) constant. Each clinical vignette is expanded into single-CSC ablations, producing three parallel datasets of approximately 23,000 items each (69,000 total). We evaluate a GPT-4.1 model and compute Semantic Textual Similarity (STS) between reasoning traces to measure stability across pronoun variants. Our results show overall high similarity (mean STS >0.80), but reveal consistent localized divergences in cited risk factors, guideline anchors, and differential ordering, even when final diagnoses remain unchanged. Our error analysis highlights certain cases in which the reasoning shifts, underscoring clinically relevant bias loci that may cascade into inequitable care. MEDEQUALQA offers a controlled diagnostic setting for auditing reasoning stability in medical AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、臨床的な意思決定支援にますます導入されているが、微妙な人口統計学的手がかりは、彼らの推論に影響を及ぼす可能性がある。 これまでの研究は、患者グループ間でのアウトプットの相違を文書化してきたが、内部理性の変化が制御された人口変動の下でどのように変化するかについてはほとんど分かっていない。 患者代名詞(he/him, she/him, they/them)のみを摂動し,重篤な症状と症状(CSCs)を一定に保った反ファクトカル・ベンチマークであるMEDEQUALQAを紹介する。 それぞれの臨床ヴィグネットは単一のCSCアブリケーションに拡張され、約23,000項目の3つの並列データセット(合計69,000件)が生成される。 我々は、GPT-4.1モデルを評価し、代名詞の変種間の安定性を測定するために、推論トレース間のセマンティックテキスト類似性(STS)を計算する。 以上の結果から, 最終診断結果が変わらず, リスクファクター, ガイドラインアンカー, ディファレンシャルオーダにおける一貫した局所的な発散が認められた。 以上より, 臨床的に有意な偏見の座位が不平等なケアへと変化した事例を, 誤差分析により明らかにした。 MEDEQUALQAは、医療AIの推論安定性を監査するための制御された診断設定を提供する。

関連論文リスト

• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• Modeling Expert AI Diagnostic Alignment via Immutable Inference Snapshots [1.0499611180329804]
  初期モデル推論と専門家補正の遷移は、構造化信号としてはほとんど分析されない。 本稿では,AI生成画像に基づくレポートを不変な推論状態として保存する診断アライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-26T13:11:58Z)
• M3CoTBench: Benchmark Chain-of-Thought of MLLMs in Medical Image Understanding [66.78251988482222]
  CoT(Chain-of-Thought)推論は、ステップバイステップの中間推論を奨励することによって、大規模言語モデルの強化に有効であることが証明されている。 医用画像理解のための現在のベンチマークでは、推論パスを無視しながら最終回答に重点を置いている。 M3CoTBenchは、透明で信頼性が高く、診断的に正確な医療用AIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2026-01-13T17:42:27Z)
• Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
  MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。 本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
  論文  参考訳（メタデータ） (2026-01-11T02:20:40Z)
• MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis [13.241795322837861]
  MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。 バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
  論文  参考訳（メタデータ） (2026-01-10T17:39:25Z)
• Measuring Stability Beyond Accuracy in Small Open-Source Medical Large Language Models for Pediatric Endocrinology [34.80893325510028]
  小さなオープンソース医療用大規模言語モデル(LLM)は、低リソースのデプロイメントとより広範なアクセシビリティのための有望な機会を提供する。 人体評価と臨床検査を併用して,6つの小さなオープンソース医療用LLMを評価した。
  論文  参考訳（メタデータ） (2025-12-26T14:30:53Z)
• MeCaMIL: Causality-Aware Multiple Instance Learning for Fair and Interpretable Whole Slide Image Diagnosis [40.3028468133626]
  MIL(Multiple Case Learning)は、コンピュータ病理学における全スライド画像(WSI)解析の主流パラダイムとして登場した。 因果関係を意識したMILフレームワークである textbfMeCaMIL は、構造化因果グラフを通じて、階層的共同創設者を明示的にモデル化する。 MeCaMILは優れた公正性を達成する -- 人口格差の分散は、属性全体の平均で65%以上減少する。
  論文  参考訳（メタデータ） (2025-11-14T06:47:21Z)
• Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
  本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。 5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
  論文  参考訳（メタデータ） (2025-10-19T08:21:00Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• Embeddings to Diagnosis: Latent Fragility under Agentic Perturbations in Clinical LLMs [0.0]
  本稿では, 臨床用LDMの潜在ロバスト性について, 構造的対向編集による検討を行うLAPD (Latent Agentic Perturbation Diagnostics) を提案する。 本フレームワークでは,PCA-Reduced Latent Spaceにクロス決定境界を埋め込む際に,表現不安定性を捉えるモデルに依存しない診断信号であるLatent Diagnosis Flip Rate (LDFR)を導入する。 その結果, 表面の堅牢性とセマンティック安定性の間には, 安全クリティカルな臨床AIにおける幾何学的監査の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-07-27T16:48:53Z)
• DeVisE: Behavioral Testing of Medical Large Language Models [14.832083455439749]
  DeVisEは、きめ細かい臨床的理解を求めるための行動テストフレームワークである。 我々はMIMIC-IVからICU排出音符のデータセットを構築した。 汎用型および医療用微調整型にまたがる5種類のLSMについて検討した。
  論文  参考訳（メタデータ） (2025-06-18T10:42:22Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Interpretability of Uncertainty: Exploring Cortical Lesion Segmentation in Multiple Sclerosis [33.91263917157504]
  不確実性定量化(UQ)は人工知能システムの信頼性を評価する上で重要である。 本研究では,磁気共鳴画像における焦点病変分割のための深層学習モデルにおけるインスタンス単位の不確実性値の解釈可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T09:13:30Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Structural-Based Uncertainty in Deep Learning Across Anatomical Scales: Analysis in White Matter Lesion Segmentation [8.64414399041931]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、ホワイトマター病変(WML)セグメンテーションの文脈における、自動ディープラーニング(DL)ツールの信頼性の指標である。 我々は, 構造的予測の相違から, 病変や患者スケールの不確かさを定量化する尺度を開発した。 444例の多心MRIデータから, 病変のモデル誤差をより効果的に把握し, 患者規模を計測できることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T13:04:57Z)
• Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
  医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。 本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。