論文の概要: LLMs for Medical Consultation Are Evaluated Too Late: The Preformulation Gap

• arxiv url: http://arxiv.org/abs/2608.17330v1
• Date: Tue, 18 Aug 2026 03:40:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.198657
• Title: LLMs for Medical Consultation Are Evaluated Too Late: The Preformulation Gap
• Title（参考訳）: 医療相談用LCMは遅すぎると評価される―プレフォームレーション・ギャップ
• Abstract要約: 本研究は,4つの医師認可型マルチターンビグネットを用いた3つのAPIモデルについて,ベースラインおよびエントリー・ツー・ケアの指導条件下で評価した。 12例の症例モデル細胞9例,および12例の指導細胞0例に,いずれの患者回答にもセルフケアや在宅管理のアドバイスが現れた。 命令はシークエンシングと文書を変更したが、決定的な事実を確実に導き出すには至らなかった。
• 参考スコア（独自算出の注目度）: 4.440698881921524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models for medical consultation are often evaluated after a clinical problem has already been made clear, although real consultations may begin with a vague, minimized, or misframed concern. We evaluated three API models across four physician-authored, multi-turn vignettes under baseline and entry-to-care instruction conditions, yielding 24 fixed-script transcripts; two cases also used adaptive standardized-patient simulation, yielding 12 transcripts. Self-care or home-management advice before any patient answer appeared in 9 of 12 baseline case-model cells and 0 of 12 instruction cells, while structured handoff summaries appeared in 0 of 12 and 10 of 12 cells, respectively. The instruction changed sequencing and documentation, although it did not reliably ensure elicitation of decisive facts. The preformulation gap should therefore be evaluated directly through observable first-contact behavior rather than inferred from diagnostic accuracy or final-answer quality.
• Abstract（参考訳）: 医療相談のための大規模な言語モデルは、臨床問題が既に明らかになってからしばしば評価されるが、実際のコンサルティングは曖昧で、最小化され、または誤解された関心事から始まることがある。 本研究は, 医師が認可した4つのマルチターン・ヴィグネットの3つのAPIモデルについて, ベースラインおよびエントリー・ツー・ケアの指導条件下で評価し, 24の定型文字を出力し, 適応型標準化患者シミュレーションを用いて12の文字を出力した。 12例中9例,12例中0例,12例中10例に構造化ハンドオフサマリーが出現した。 命令はシークエンシングと文書を変更したが、決定的な事実の推論を確実には保証しなかった。 したがって, 診断精度や最終回答品質から推定されるよりも, 観察可能なファーストコンタクト動作を通じて, 事前処理のギャップを直接評価する必要がある。

関連論文リスト

• MedRoundsQA: A Persona and Difficulty Aware Evaluation for Multi-Turn Medical Consultations [37.085079820080644]
  医療ベンチマークは、実際のコンサルテーションを反映していない単ターン、複数選択の臨床ケースで支配されている。 MedRoundsQAは17の専門分野にまたがる1,387件の検診ケースから得られたマルチターン診断ベンチマークである。
  論文  参考訳（メタデータ） (2026-09-11T13:41:53Z)
• ClinEnv: An Interactive Multi-Stage Long Horizon EHR Environment for Agents [14.434996950038956]
  ClinEnvは、決定論的グラウンドマッチングと、その情報収集方法を通じて、モデルが決定するものをスコア付けする。 ClinEnvは、結果のみの評価に見えない、直接測定可能な情報取得ギャップを作る。
  論文  参考訳（メタデータ） (2026-06-01T17:56:26Z)
• Automated Clinical Report Generation for Remote Cognitive Remediation: Comparing Knowledge-Engineered Templates and LLMs in Low-Resource Settings [4.406830461180521]
  本稿では,アバター誘導型ホームベース認知修復セッションの低リソース環境における自動臨床報告生成について検討する。 本稿では,(1)言語治療領域の知識を明示的な決定規則として符号化するルールベースのテンプレートシステムと,(2)より流動的で簡潔な出力を目的としたゼロショットLCMベースのアプローチ(GPT-4)を提案する。 結果,臨床信頼性と言語学的品質の間には明確なトレードオフがみられ,GPT-4はより簡潔なアウトプットを生み出す一方,テンプレートベースシステムは流動性,コヒーレンス,結果提示により高いスコアを付けた。
  論文  参考訳（メタデータ） (2026-05-07T17:20:22Z)
• How Robust Are Large Language Models for Clinical Numeracy? An Empirical Study on Numerical Reasoning Abilities in Clinical Contexts [11.740513556909542]
  ClinicalNumRobBenchは、1,624のコンテキスト検索インスタンスのベンチマークで、基調的な回答がある。 本研究は, 値検索, 算術演算, リレーショナル比較, 集約の4種類の臨床数値性を評価する。
  論文  参考訳（メタデータ） (2026-04-13T07:44:41Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
  MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
  論文  参考訳（メタデータ） (2026-03-13T22:30:26Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• A systematic review of trial-matching pipelines using large language models [0.9176056742068814]
  患者を臨床試験の選択肢に合わせることは、特に腫瘍学において新しい治療法を特定するために重要である。 大規模言語モデル(LLM)はこの問題に対して有望な解決策を提供する。 本総説では, 臨床治験におけるLSMの応用の進展を概説し, 有望な方向性と限界を強調した。
  論文  参考訳（メタデータ） (2025-09-13T21:21:05Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
  医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。 LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
  論文  参考訳（メタデータ） (2025-06-04T15:43:14Z)
• RECAP-KG: Mining Knowledge Graphs from Raw GP Notes for Remote COVID-19 Assessment in Primary Care [45.43645878061283]
  本稿では,患者相談の前後に書かれた生のGP医療ノートから知識グラフ構築を行うフレームワークを提案する。 私たちの知識グラフには、既存の患者の症状、その持続時間、重症度に関する情報が含まれています。 本フレームワークを英国における新型コロナウイルス患者の相談ノートに適用する。
  論文  参考訳（メタデータ） (2023-06-17T23:35:51Z)
• Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation [56.25869366777579]
  近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
  論文  参考訳（メタデータ） (2022-04-01T14:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。