論文の概要: A Proposed Rubric for Evaluating Expressed Clinical Reasoning in Large Language Model Responses
- arxiv url: http://arxiv.org/abs/2609.37788v2
- Date: Wed, 30 Sep 2026 12:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.329088
- Title: A Proposed Rubric for Evaluating Expressed Clinical Reasoning in Large Language Model Responses
- Title（参考訳）: 大規模言語モデル応答における表現型臨床推論の評価のための提案されたルーブリック
- Abstract要約: 本稿では,モデル応答における表現された臨床推論を評価するためのルーブリックを提案する。
一般ドメインフレームワークは、その設計を通知するが、検証された臨床機器として扱われることはない。
このルーブリックはまだ、層間信頼性、構築の妥当性、臨床的有用性について試験されていない。
- 参考スコア（独自算出の注目度）: 0.21661551697659734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a rubric for assessing expressed clinical reasoning in model responses, drawing on three bodies of work: medical education assessment frameworks (ART, SCT, Key Feature Problems and OSCE); clinical LLM benchmarks (MedR-Bench, HealthBench, TIMER-Bench, DR.BENCH, PrIME-LLM and PatientSafeBench); and general LLM reasoning evaluation research, including the Factuality-Validity-Coherence-Utility taxonomy, FaithCoT-Bench and C2-Faith. We use groundedness as a clinically oriented adaptation of the taxonomy's factuality category. The rubric brings these concepts together in a multidimensional framework for scoring free-text responses to gold-standard clinical vignettes. It includes provisional behavioural anchors, applicability rules and a separate flag for case-specific safety-critical errors. General-domain frameworks inform its design but are not treated as validated clinical instruments. The rubric does not replace case-specific reference criteria or the task-specific metrics of existing benchmarks. It has not yet been tested for inter-rater reliability, construct validity or clinical utility. Its immediate purpose is to make evaluation decisions explicit and open to scrutiny before empirical testing.
- Abstract（参考訳）: 医学教育評価フレームワーク(ART, SCT, Key Feature Problems, OSCE)、臨床LCMベンチマーク(MedR-Bench, HealthBench, TIMER-Bench, DR.BENCH, PrIME-LLM, patientSafeBench)、一般LCM推論評価研究(Factuality-Validity-Coherence-Utility taxonomy, FaithCoT-Bench, C2-Faith)である。
我々は、分類学の事実性カテゴリーを臨床的に指向した適応として、基底性を用いる。
このルーブリックは、金標準臨床ヴィグネットに対する自由テキスト応答を評価するための多次元フレームワークにこれらの概念をまとめている。
これには、一時的な動作アンカー、適用可能性ルール、ケース固有の安全クリティカルエラーに対する別個のフラグが含まれる。
一般ドメインフレームワークは、その設計を通知するが、検証された臨床機器として扱われることはない。
ルーリックはケース固有の基準や既存のベンチマークのタスク固有の基準を置き換えるものではない。
信頼性試験、建設の妥当性試験、臨床応用試験はまだ行われていない。
その直接的な目的は、評価決定を明確化し、経験的テストの前に精査することである。
関連論文リスト
- CT-FineBench: A Diagnostic Fidelity Benchmark for Fine-Grained Evaluation of CT Report Generation [51.11942945171396]
従来の評価指標は、語彙重なり合いやエンティティマッチングの粗い尺度のみを提供する。
我々はCT-RATEとMerlinのベンチマークであるCT-FineBenchを提案し、CTレポートの微細な事実整合性を評価する。
我々のベンチマークは、綿密な質問回答(QA)ベースのプロセスによって構築されます。
論文 参考訳（メタデータ） (2026-04-27T03:32:46Z) - Medical Reasoning with Large Language Models: A Survey and MR-Bench [41.12833582419578]
大規模言語モデル(LLM)は、医学試験スタイルのタスクにおいて高いパフォーマンスを達成している。
臨床的意思決定は本質的に安全に重要であり、文脈に依存し、進化する証拠の下で行われる。
論文 参考訳（メタデータ） (2026-03-17T09:03:09Z) - AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳（メタデータ） (2026-01-23T11:59:13Z) - Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。
本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
論文 参考訳（メタデータ） (2026-01-11T02:20:40Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - ReEvalMed: Rethinking Medical Report Evaluation by Aligning Metrics with Real-World Clinical Judgment [10.958326795130112]
臨床基盤のメタ評価フレームワークを提案する。
臨床診断基準は,臨床のアライメントと重要な指標能力にまたがる。
我々のフレームワークは、より臨床的に信頼性の高い評価方法を構築するためのガイダンスを提供する。
論文 参考訳（メタデータ） (2025-09-30T21:00:47Z) - Clinically Grounded Agent-based Report Evaluation: An Interpretable Metric for Radiology Report Generation [32.410641778559544]
ICARE (Interpretable and Clinicallygrounded Agent-based Report Evaluation) は、解釈可能な評価フレームワークである。
2つのエージェントは、それぞれが基礎的真実または生成されたレポートを持ち、臨床的に有意義な質問を発生し、互いにクイズする。
スコアを質問応答ペアにリンクすることで、ICAREは透明で解釈可能な評価を可能にする。
論文 参考訳（メタデータ） (2025-08-04T18:28:03Z) - Medical Large Language Model Benchmarks Should Prioritize Construct Validity [9.453444826672474]
医学大言語モデル(LLMs)の研究は、臨床知識の符号化から医師のような推論に至るまで、大胆な主張をすることが多い。
しかし、どうやって真の進歩をリーダーボードのフレックスから切り離すのか?
医療用LLMベンチマークは、その構成妥当性を実証的に評価すべきである(そして実際に可能である)。
論文 参考訳（メタデータ） (2025-03-12T05:08:02Z) - Named Clinical Entity Recognition Benchmark [2.9332007863461893]
本報告では, 名前付き臨床エンティティ認識ベンチマークを紹介する。
臨床物語から構造化された情報を抽出する重要な自然言語処理(NLP)タスクに対処する。
リーダーボードは多様な言語モデルを評価するための標準化されたプラットフォームを提供する。
論文 参考訳（メタデータ） (2024-10-07T14:00:18Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳（メタデータ） (2024-03-01T21:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。