論文の概要: Sense and Sensitivity: Benchmarking LLM Clinical Triage Recommendations with Physician Experts

• arxiv url: http://arxiv.org/abs/2609.38600v1
• Date: Tue, 29 Sep 2026 22:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.79312
• Title: Sense and Sensitivity: Benchmarking LLM Clinical Triage Recommendations with Physician Experts
• Title（参考訳）: 感覚と感性: 理科専門医によるLSM臨床トリアージ勧告のベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、臨床現場での使用が増えている。 臨床テキストの現実的な変動の下で信頼性を評価することは重要である。 LLMと,基礎となる臨床環境を保ったテキスト摂動による医師の実践とを比較した。
• 参考スコア（独自算出の注目度）: 28.671756313807197
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As large language models (LLMs) are increasingly used in clinical settings, it is critical to evaluate their reliability under realistic variation in clinical text. We study this question in clinical triage, comparing LLMs to practicing physicians under text perturbations that preserve the underlying clinical setting. We introduce a benchmark of over 6,000 clinical scenarios, 7,000 physician annotations, and 225,000 model responses. Using this benchmark, we make two key observations. First, LLMs are more likely than physicians to recommend unnecessary care at baseline, and this tendency increases under perturbed inputs. Further, we find that LLM recommendations are more sensitive to gender and tone perturbations than human recommendations. Together, these results demonstrate that LLMs can vary under clinically irrelevant textual changes, highlighting the need for deployment-oriented evaluations grounded in expert physician behavior.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 臨床現場での利用が増えているため, 臨床テキストの現実的な変化の下で信頼性を評価することが重要である。 本研究は, 臨床トリアージにおいて, 基礎となる臨床環境を保ったテキスト摂動下での LLM と医師の実践を比較検討した。 6,000以上の臨床シナリオ,7,000の医師アノテーション,225,000のモデル応答のベンチマークを導入する。 このベンチマークを用いて、2つの重要な観察を行う。 第一に、LSMは医師よりもベースラインでの不要なケアを推奨する傾向があり、この傾向は摂動入力下で増加する。 さらに,LLM勧告は,人間の勧告よりも性別や声調の摂動に敏感であることが判明した。 これらの結果から, LLMは臨床的に無関係なテキスト変化の下で変化しうることを示し, 専門医の行動に根ざした展開指向評価の必要性を浮き彫りにした。

関連論文リスト

• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text [0.28037951156321367]
  大きな言語モデル(LLM)は、要約やリビジョンといった臨床テキストタスクにますます使われている。 臨床実践では、肺炎の可能性のようなフレーズは、利用可能な証拠の強さを伝達する。 これらの不確実性表現を変えることは、臨床的意味を完全に変えることができる。
  論文  参考訳（メタデータ） (2026-06-16T20:30:53Z)
• A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
  大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。 LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。 CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
  論文  参考訳（メタデータ） (2026-03-26T09:00:55Z)
• MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
  MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
  論文  参考訳（メタデータ） (2026-03-13T22:30:26Z)
• LiveClin: A Live Clinical Benchmark without Leakage [50.45415584327275]
  LiveClinは、実際の臨床実践を近似するために設計されたライブベンチマークである。 本研究は,患者を臨床経過全体にわたる複雑なマルチモーダルな評価シナリオに転換する。 LiveClin上で26のモデルを評価すると、これらの実世界のシナリオの難しさが明らかとなり、最高性能のモデルではケース精度が35.7%に達した。
  論文  参考訳（メタデータ） (2026-02-18T03:59:46Z)
• Enabling Doctor-Centric Medical AI with LLMs through Workflow-Aligned Tasks and Benchmarks [72.89088985703748]
  大きな言語モデル(LLM)の台頭は、臨床ガイダンスを提供することで医療に変化をもたらしたが、患者への直接の展開は安全性のリスクをもたらす。 我々は,患者と直接対話するのではなく,経験豊富な医師と協力する臨床助手としてLLMを再配置することを提案する。 我々は、22の臨床的タスクと27の専門分野にわたる92,000のQ&Aインスタンスからなる大規模な中国の医療データセットであるDoctorFLANを構築した。
  論文  参考訳（メタデータ） (2025-10-13T06:18:27Z)
• The MedPerturb Dataset: What Non-Content Perturbations Reveal About Human and Clinical LLM Decision Making [13.734312822024947]
  臨床入力の制御摂動下での医療用大言語モデル(LLM)の評価を目的としたデータセットであるMedPerturbを紹介する。 MedPerturbでは、リアルな入力の可変性に基づく800の臨床的コンテキストのデータセットをリリースする。 我々は、MedPerturbを2つのケーススタディに用いて、ジェンダーアイデンティティの手がかり、言語スタイル、フォーマットの変化が、人間とLLM間の治療選択のばらつきを反映しているかを明らかにする。
  論文  参考訳（メタデータ） (2025-06-20T17:09:27Z)
• CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
  CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。 このベンチマークの信頼性はいくつかの点で確認されている。
  論文  参考訳（メタデータ） (2024-10-04T15:15:36Z)
• CLIMB: A Benchmark of Clinical Bias in Large Language Models [39.82307008221118]
  大規模言語モデル(LLM)は、臨床的な意思決定にますます応用されている。 バイアスを示す可能性は、臨床の株式に重大なリスクをもたらす。 現在、LSMにおけるそのような臨床バイアスを体系的に評価するベンチマークが欠如している。
  論文  参考訳（メタデータ） (2024-07-07T03:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。