論文の概要: CARE-Bench: Benchmarking Patient-Facing LLM Triage

• arxiv url: http://arxiv.org/abs/2608.03731v1
• Date: Tue, 04 Aug 2026 14:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.24038
• Title: CARE-Bench: Benchmarking Patient-Facing LLM Triage
• Title（参考訳）: CARE-Bench: 患者側のLCMトリアージのベンチマーク
• Abstract要約: CARE-Benchは、シーケンシャルな患者向けトリアージをターン毎の4ラベルのカレントアクションタスクとして評価する、ソースグラウンドのベンチマークである。 269ラウンドのホールトアウトラウンドにおいて,未進行で最小限のオープンエンドプロトコルで11のモデルを評価する。
• 参考スコア（独自算出の注目度）: 5.614884285103799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Patient-facing medical LLMs and agents increasingly answer symptom questions before clinician contact, where the key safety question is what action the user should take next. We introduce CARE-Bench, a source-grounded benchmark that evaluates sequential patient-facing triage as a four-label per-turn current-action task. CARE-Bench contains 500 cases and 1,059 evaluated patient-disclosure prefixes reconstructed from medical dialogue, consultation, and follow-up-question sources. We evaluate 11 models on 269 held-out rounds under unprompted and minimally prompted open-ended protocols, using a fixed GPT-5.5 mapper to code each response into the four-label action space. Unprompted macro-F1 remains low, ranging from 31.2 to 50.4. Prompting improves 10 of 11 models, with prompted macro-F1 ranging from 46.9 to 63.4, but substantial threshold errors remain. Prompted models often recommend care before needed clarification is obtained; when the correct action was to ask for more information, only 33.5% of prompted outputs preserved the step. The persistence of these errors after prompting suggests that patient-facing triage is not a simple prompting problem and supports explicit evaluation of action timing before deployment.
• Abstract（参考訳）: 患者に面した医療用LLMやエージェントは、臨床医との接触前に症状に答える傾向にある。 そこで我々はCARE-Benchという,患者面トリアージをターン毎の4ラベルのカレントアクションタスクとして評価するソースグラウンドベンチマークを紹介した。 CARE-Benchには500の症例と1,059の患者開示プレフィックスが含まれており、医療対話、相談、フォローアップクエストソースから再構築されている。 固定GPT-5.5マッパーを用いて,269ラウンドのホールドアウトラウンドの11モデルを評価し,各応答を4ラベルのアクション空間に符号化した。 非プロンプトマクロF1は31.2から50.4まで低いままである。 プロンプティングは11モデル中10モデルを改善し、46.9から63.4までのマクロF1が誘導されるが、かなりの閾値誤差が残っている。 プロンプテッドモデルは、必要な明確化を得る前にケアを推奨することが多く、正しい行動がより多くの情報を求めるとき、入力された出力の33.5%だけがステップを保存した。 プロンプト後のこれらのエラーの持続性は、患者が直面するトリアージが単純なプロンプト問題ではないことを示唆し、デプロイ前のアクションタイミングの明示的な評価をサポートすることを示唆している。

関連論文リスト

• Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B [0.0]
  オープンウェイト医療言語モデルは、患者向けおよび臨床支援アプリケーションの基礎として、ますます利用されている。 MedGemma-4B-itの技術的洗練を必要としない攻撃におけるギャップを定量化する。
  論文  参考訳（メタデータ） (2026-07-09T18:31:43Z)
• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries [0.0]
  オンライン患者の問い合わせは、しばしば非公式で不完全であり、専門家の査定の前に書かれるが、適切なレベルの臨床フォローアップにルーティングされなければならない。 我々はこれを,セルフケア,スケジュールビジット,緊急クリニシアンレビュー,緊急リファラルという,4段階の行動可能なトリアージタスクとして研究する。 我々は,低リソースラベル付け条件下で,大規模言語モデル(LLM)がそのようなルーティングをサポートできるかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-15T07:02:17Z)
• Training Large Language Models to Predict Clinical Events [0.0]
  我々は,時間順のMIMIC-IIIノートを過去の患者コンテキストの例に変換することで,フォレストラーニングを臨床予測に拡張する。 このプロセスは、薬品、手順、臓器サポート、微生物学、死亡率を含む702の入院から6,900の予測例を生成する。
  論文  参考訳（メタデータ） (2026-05-12T23:18:14Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
  大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。 LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。 CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
  論文  参考訳（メタデータ） (2026-03-26T09:00:55Z)
• MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
  MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
  論文  参考訳（メタデータ） (2026-03-13T22:30:26Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Evaluating the Impact of a Specialized LLM on Physician Experience in Clinical Decision Support: A Comparison of Ask Avo and ChatGPT-4 [0.3999851878220878]
  臨床意思決定支援システムを強化するための言語モデル(LLM)は、関心が高まりつつあるトピックである。 幻覚や明確な引用の欠如といった現在の欠点は、急速に成長する臨床環境での使用には信頼性が低い。 本研究では,独自のモデル拡張言語検索システムを組み込んだAvoMDによるAsk Avo由来のソフトウェアを評価する。
  論文  参考訳（メタデータ） (2024-09-06T17:53:29Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。