論文の概要: Evaluating Large Language Models on Misconceptions in Multi-Turn Medical Conversations

• arxiv url: http://arxiv.org/abs/2607.12884v1
• Date: Tue, 14 Jul 2026 15:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.193611
• Title: Evaluating Large Language Models on Misconceptions in Multi-Turn Medical Conversations
• Title（参考訳）: マルチターン医療会話における誤解に基づく大規模言語モデルの評価
• Abstract要約: ThReadMed-QAは、2,437人の患者と物理学者の会話スレッドのマルチターン医療対話データセットである。 このデータセットは、モデルがマルチターンコンテキスト下で誤解を検出し、修正できるかどうかを体系的に評価することを可能にする。 実験では、単一相互作用における誤解に対処できるフロンティアモデルでさえ、その後のターンよりも大幅に劣化する、一貫したパターンを明らかにした。
• 参考スコア（独自算出の注目度）: 5.63130104359934
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Patients seeking medical information often ask questions that embed incorrect assumptions or misconceptions. In such cases, safe medical communication requires not only answering the question, but identifying and correcting the underlying false belief. These interactions naturally unfold over multiple turns, a pattern now mirrored in interactions with LLMs. Yet current evaluation frameworks do not capture model behavior in these settings, where misconceptions can emerge, persist, or evolve over the course of a conversation. Whether LLMs can reliably correct such misconceptions over time remains largely unexamined. To study this, we introduce ThReadMed-QA, a multi-turn medical dialogue dataset of 2,437 patient-physician conversation threads comprising 8,204 question-answer pairs, derived from real patient interactions on AskDocs. This dataset enables systematic evaluation of whether models can detect and correct misconceptions under a multi-turn context. We evaluate five LLMs using a rubric-based LLM-as-a-Judge framework that scores responses based on their ability to identify and correct misconceptions. Our experiments reveal a consistent pattern: even frontier models that can address misconceptions in a single interaction degrade substantially over subsequent turns. GPT-5 and Claude-Haiku correct these false presuppositions around 85% on initial questions but drop to roughly 50% within two follow-ups. An oracle analysis replacing prior model outputs with physician responses shows that much of the degradation is driven by error propagation, while performance remains imperfect even under correct context. Even when models tend to correct misconceptions initially, their performance degrades substantially over later turns, leading to inconsistent and potentially unsafe guidance in patient-facing settings and highlighting the need for evaluation frameworks that capture multi-turn behavior.
• Abstract（参考訳）: 医療情報を求める患者は、誤った仮定や誤解を埋め込んだ質問をすることが多い。 このような場合、安全な医療コミュニケーションは、質問に答えるだけでなく、根底にある誤った信念を特定し、修正する必要がある。 これらの相互作用は自然に複数の回転に展開し、このパターンはLLMとの相互作用でミラー化されている。 しかし、現在の評価フレームワークはこれらの設定でモデルの振る舞いを捉えていない。 LLMがそのような誤解を時間とともに確実に修正できるかどうかは、ほとんど検討されていない。 そこで本研究では,AskDocs上での実際の患者対話から得られた,8,204対の質問応答対からなる2,437の患者-物理学的会話スレッドからなるマルチターン医療対話データセットThReadMed-QAを紹介する。 このデータセットは、モデルがマルチターンコンテキスト下で誤解を検出し、修正できるかどうかを体系的に評価することを可能にする。 LLM-as-a-Judge フレームワークを用いて5つの LLM の評価を行った。 実験では、単一相互作用における誤解に対処できるフロンティアモデルでさえ、その後のターンよりも大幅に劣化する、一貫したパターンを明らかにした。 GPT-5とClaude-Haikuは、これらの偽の前提を初期質問で約85%修正したが、2回のフォローアップで約50%に低下した。 先行モデルの出力を医師の反応に置き換えたオラクル分析では、劣化の大部分はエラーの伝播によって引き起こされるが、性能は正確な文脈下においても不完全なままである。 モデルが当初誤解を正す傾向にあったとしても、そのパフォーマンスは後から大幅に低下し、患者が直面する設定では一貫性がなく、潜在的に安全でないガイダンスとなり、マルチターン動作をキャプチャする評価フレームワークの必要性が強調される。

関連論文リスト

• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• This Treatment Works, Right? Evaluating LLM Sensitivity to Patient Question Framing in Medical QA [35.372014797343546]
  大規模言語モデル(LLM)は、フレーズの発声に敏感であり、質問の語源に影響を受けやすい。 医療質問応答(QA)のための制御検索強化世代(RAG)設定の体系的評価を通じてこれを検証する。 臨床試験の要約に基づいた6,614組のクエリペアのデータセットを構築し,8つのLCM間の応答一貫性を評価する。
  論文  参考訳（メタデータ） (2026-04-06T18:03:54Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Beyond Idealized Patients: Evaluating LLMs under Challenging Patient Behaviors in Medical Consultations [2.337503919179969]
  実際の医療相談で一般的に発生する患者行動について検討する。 各動作について、安全でない応答をキャプチャする具体的な障害基準を指定する。 患者発話に対する応答について,オープンおよびクローズドソースのLCMについて検討した。
  論文  参考訳（メタデータ） (2026-03-31T07:42:07Z)
• Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
  不完全な患者の医療反応を検出するために,この仮定をストレステストする。 我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-26T19:01:55Z)
• ThReadMed-QA: A Multi-Turn Medical Dialogue Benchmark from Real Patient Questions [5.63130104359934]
  ThReadMed-QAは、r/AskDocsから抽出された2,437人の患者を検索する会話スレッドのベンチマークである。 我々は,238の会話の階層化テスト分割に基づいて,最先端のLLMを5つ評価した。 最も強いモデルであるGPT-5でさえ41.2%の完全正解しか得られない。
  論文  参考訳（メタデータ） (2026-03-11T20:17:57Z)
• When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation [18.338933046286257]
  大きな言語モデル(LLM)は、医学的なクエリを含む様々な問題に対処するために、ますます採用されている。 LLMは医学的文脈では性能が悪く、ユーザにとって有害な誤認につながる可能性がある。 本稿では,実際の患者-医師間相互作用の転写を用いたトランスフォーマーベースデコーダモデルであるLlama 2 7Bの微調整に焦点を当てた。
  論文  参考訳（メタデータ） (2026-02-27T21:09:43Z)
• M3CoTBench: Benchmark Chain-of-Thought of MLLMs in Medical Image Understanding [66.78251988482222]
  CoT(Chain-of-Thought)推論は、ステップバイステップの中間推論を奨励することによって、大規模言語モデルの強化に有効であることが証明されている。 医用画像理解のための現在のベンチマークでは、推論パスを無視しながら最終回答に重点を置いている。 M3CoTBenchは、透明で信頼性が高く、診断的に正確な医療用AIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2026-01-13T17:42:27Z)
• Shallow Robustness, Deep Vulnerabilities: Multi-Turn Evaluation of Medical LLMs [9.291589998223696]
  MedQA-Followupは,医療質問応答におけるマルチターンロバスト性を評価するためのフレームワークである。 MedQAデータセットの制御介入を用いて、5つの最先端LCMを評価する。 モデルは浅瀬の摂動下では合理的に良好に機能するが、マルチターン設定では深刻な脆弱性が現れる。
  論文  参考訳（メタデータ） (2025-10-14T08:04:18Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。