論文の概要: The Dialogue That Heals: A Comprehensive Evaluation of Doctor Agents' Inquiry Capability
- arxiv url: http://arxiv.org/abs/2509.24958v1
- Date: Mon, 29 Sep 2025 15:52:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:20.106544
- Title: The Dialogue That Heals: A Comprehensive Evaluation of Doctor Agents' Inquiry Capability
- Title（参考訳）: 治療する対話: 医師の問い合わせ能力の総合的評価
- Authors: Linlu Gong, Ante Wang, Yunghwei Lai, Weizhi Ma, Yang Liu,
- Abstract要約: 我々は,医療マルチターン質問の自動的・包括的評価のための,これまでで最大のベンチマークであるMAQuE(Medical Agent Questioning Evaluation)を提案する。
3000の患者エージェントがリアルにシミュレートされ、多様な言語パターン、認知的制限、感情的反応、受動的開示の傾向を示す。
また,タスク成功,質問能力,対話能力,質問効率,患者体験を網羅する多面的評価フレームワークも導入した。
- 参考スコア（独自算出の注目度）: 15.649293541650811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An effective physician should possess a combination of empathy, expertise, patience, and clear communication when treating a patient. Recent advances have successfully endowed AI doctors with expert diagnostic skills, particularly the ability to actively seek information through inquiry. However, other essential qualities of a good doctor remain overlooked. To bridge this gap, we present MAQuE(Medical Agent Questioning Evaluation), the largest-ever benchmark for the automatic and comprehensive evaluation of medical multi-turn questioning. It features 3,000 realistically simulated patient agents that exhibit diverse linguistic patterns, cognitive limitations, emotional responses, and tendencies for passive disclosure. We also introduce a multi-faceted evaluation framework, covering task success, inquiry proficiency, dialogue competence, inquiry efficiency, and patient experience. Experiments on different LLMs reveal substantial challenges across the evaluation aspects. Even state-of-the-art models show significant room for improvement in their inquiry capabilities. These models are highly sensitive to variations in realistic patient behavior, which considerably impacts diagnostic accuracy. Furthermore, our fine-grained metrics expose trade-offs between different evaluation perspectives, highlighting the challenge of balancing performance and practicality in real-world clinical settings.
- Abstract（参考訳）: 効果的な医師は、患者を治療する際に共感、専門知識、忍耐、明確なコミュニケーションの組み合わせを持つべきである。
近年の進歩は、専門的な診断スキルを持つAI医師、特に調査を通じて積極的に情報を求める能力の獲得に成功している。
しかし、良い医者の他の重要な資質は見落とされ続けている。
このギャップを埋めるために、医療マルチターン質問の自動的かつ包括的な評価のための最大のベンチマークであるMAQuE(Medical Agent Questioning Evaluation)を提案する。
3000の患者エージェントがリアルにシミュレートされ、多様な言語パターン、認知的制限、感情的反応、受動的開示の傾向を示す。
また,タスク成功,質問能力,対話能力,質問効率,患者体験を網羅する多面的評価フレームワークも導入した。
異なるLLMの実験では、評価面における重大な課題が明らかにされている。
最先端のモデルでさえ、調査能力の改善の余地は大きい。
これらのモデルは、現実的な患者の行動のバリエーションに非常に敏感であり、診断精度に大きな影響を及ぼす。
さらに, 評価視点の違いによるトレードオフを明らかにし, 実際の臨床環境におけるパフォーマンスと実用性のバランスをとることの課題を強調した。
関連論文リスト
- AutoMedEval: Harnessing Language Models for Automatic Medical Capability Evaluation [55.2739790399209]
本稿では,医療用LLMの質問応答能力を測定するために,13Bパラメータを用いたオープンソースの自動評価モデルAutoMedEvalを提案する。
AutoMedEvalの包括的な目的は、多様なモデルが生み出す応答の質を評価することであり、人間の評価への依存を著しく低減することを目的としている。
論文 参考訳（メタデータ） (2025-05-17T07:44:54Z) - Advancing Conversational Diagnostic AI with Multimodal Reasoning [44.1996223689966]
アーティキュレート・メディカル・インテリジェンス・エクスプローラー(AMIE)
システムは、対話フローを中間モデル出力によって動的に制御する状態認識対話フレームワークを実装している。
患者アクターとのチャットベースの相談の無作為で盲目なOSCEスタイルの研究において, AMIEをプライマリケア医師(PCP)と比較した。
論文 参考訳（メタデータ） (2025-05-06T20:52:01Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z) - Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。
本稿では,構造化医療推論を利用した新しいアプローチを提案する。
我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
論文 参考訳（メタデータ） (2025-03-05T05:24:55Z) - WiseMind: Recontextualizing AI with a Knowledge-Guided, Theory-Informed Multi-Agent Framework for Instrumental and Humanistic Benefits [10.8749978349074]
WiseMindは、NLPの分野間コンテキスト化フレームワークである。
うつ病、不安症、双極性障害で試験され、診断精度は84.2%に達する。
その結果、知識、プロセス、評価層にまたがる深い文脈化は、ベンチマーク駆動型NLPを臨床的に有意義な影響に変換することができることがわかった。
論文 参考訳（メタデータ） (2025-02-28T03:45:39Z) - Ask Patients with Patience: Enabling LLMs for Human-Centric Medical Dialogue with Grounded Reasoning [25.068780967617485]
大規模言語モデル(LLM)は潜在的な解決策を提供するが、現実の臨床的相互作用に苦慮する。
Ask patients with Patience (APP) は,基礎的推論,透明な診断,人間中心のインタラクションを目的とした多ターンLCMベースの医療アシスタントである。
APPは共感的対話を通じてユーザ症状を誘発することでコミュニケーションを強化し、アクセシビリティとユーザエンゲージメントを大幅に改善する。
論文 参考訳（メタデータ） (2025-02-11T00:13:52Z) - AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments [2.567146936147657]
シミュレーションされた臨床環境における大規模言語モデル(LLM)の評価のためのマルチモーダルエージェントベンチマークであるAgentClinicを紹介する。
我々は,AgentClinicの逐次決定形式におけるMedQA問題の解決が極めて困難であることに気付き,診断精度が元の精度の10分の1以下に低下することを発見した。
論文 参考訳（メタデータ） (2024-05-13T17:38:53Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z) - Towards Conversational Diagnostic AI [32.84876349808714]
本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。
AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。
AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
論文 参考訳（メタデータ） (2024-01-11T04:25:06Z) - Empowering Psychotherapy with Large Language Models: Cognitive
Distortion Detection through Diagnosis of Thought Prompting [82.64015366154884]
本研究では,認知的歪み検出の課題について検討し,思考の早期発見(DoT)を提案する。
DoTは、事実と思考を分離するための主観的評価、思考と矛盾する推論プロセスを引き出すための対照的な推論、認知スキーマを要約するスキーマ分析という3つの段階を通して、患者のスピーチの診断を行う。
実験により、DoTは認知的歪み検出のためのChatGPTよりも大幅に改善され、一方で人間の専門家が承認した高品質な合理性を生成することが示された。
論文 参考訳（メタデータ） (2023-10-11T02:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。