論文の概要: Patient-specific rubric-based evaluation of large language models across longitudinal cancer care
- arxiv url: http://arxiv.org/abs/2610.35847v1
- Date: Mon, 26 Oct 2026 17:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.137311
- Title: Patient-specific rubric-based evaluation of large language models across longitudinal cancer care
- Title（参考訳）: 患者特異的ルーブリックに基づく縦断的がん治療における言語モデルの評価
- Abstract要約: NPC-RubricBenchは,がん治療継続期における多段階臨床理性評価のためのフェーズアウェアベンチマークである。
このベンチマークは、6つのシーケンシャルケアフェーズにわたる991の患者フェーズユニットと、5つの評価次元にまたがる17,688の患者固有の原子レベルからなる。
- 参考スコア（独自算出の注目度）: 28.207964650235947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) show promise in specialty medicine, yet existing evaluations largely focus on isolated clinical encounters rather than tracking how clinical responsibilities evolve across a longitudinal care pathway. Here we introduce NPC-RubricBench, a phase-aware benchmark for evaluating multistage clinical reasoning across the cancer care continuum, using nasopharyngeal carcinoma as a defined disease context. Curated from longitudinal records of 405 patients across two cancer centers, the benchmark comprises 941 patient-phase units across six sequential care phases and 17,688 patient-specific atomic criteria spanning five evaluation dimensions, with each assessment strictly restricted to decision-time clinical evidence. Evaluating 30 general-purpose and medical LLMs revealed that strong diagnostic performance does not carry over to downstream care. We evaluated 30 general-purpose and medical LLMs, showing that high diagnostic performance did not translate into improved downstream care. Instead, the dominant failure modes reversed across phases. Explicit decision errors dominated anatomical staging at 48.2%, whereas decision omissions dominated initial work-up and post-treatment follow-up at 33.4% and 30.4%, respectively. In the evaluated model set, medically adapted models showed higher omission rates than general-purpose models. Moreover, varying query granularity exposes a critical specification trade-off: broad open-ended requests degrade Decision Quality across all 30 models, while more detailed, checklist-like prompts raise Decision Quality but reduce Evidence Faithfulness and Safety Adherence. Furthermore, NPC-RubricBench demonstrates that static diagnostic benchmarks are insufficient to ensure consistent clinical reliability over time, highlighting the importance of phase-adaptive safeguards in multistage medical AI.
- Abstract（参考訳）: 大きな言語モデル (LLMs) は専門医療において有望であるが、既存の評価は、慢性的なケア経路を通して臨床責任がどのように進化するかを追跡することよりも、孤立した臨床経験に焦点を当てている。
NPC-RubricBenchは、鼻咽喉頭癌を定義疾患の文脈として用い、がん治療継続における多段階臨床理由評価のためのフェーズアウェアベンチマークである。
2つのがんセンターにまたがる405人の患者の経時的記録から、このベンチマークは6つのシーケンシャルケアフェーズにわたる991人の患者フェーズ単位と、5つの評価次元にまたがる17,688人の患者固有の原子レベルから成り、それぞれの評価は決定時間の臨床的証拠に厳密に制限されている。
30の汎用および医療用LSMの評価の結果, 診断性能は下流医療には及ばないことが明らかとなった。
一般用および医療用LLMを30例評価したところ, 診断成績が改善しなかった。
代わりに、支配的な障害モードはフェーズ間で逆転した。
明示的な決定エラーは解剖学的ステージングを48.2%で、決定失効は初期ワークアップと治療後のフォローアップを33.4%、30.4%で上回った。
評価モデルでは,医療適応モデルの方が汎用モデルよりも高い脱離率を示した。
さらに、クエリの粒度の変化は、重要な仕様のトレードオフを露呈する: 広範囲なオープンエンド要求は、30モデルすべてで決定品質を低下させるが、より詳細なチェックリストのようなプロンプトは、決定品質を上昇させるが、エビデンス・フェースフルネス(Evidence Faithfulness)とセーフティ・アジェンス(Safety Adherence)を減少させる。
さらに、NPC-RubricBenchは、静的診断ベンチマークが時間とともに一貫した臨床信頼性を確保するには不十分であることを示し、多段階医療AIにおける位相適応型セーフガードの重要性を強調している。
関連論文リスト
- MedUPS: Towards Diagnostic Assistance in Uncommon Medical Cases with Large Language Models [9.0377422390685]
MedUPSQAは、実症例報告5,535件から構築された21,874件の中間的臨床的決定点のデータセットである。
MedUPSは、患者の軌道に沿って展開する中間決定のモデルを監督する。
論文 参考訳（メタデータ） (2026-08-02T05:27:21Z) - Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳（メタデータ） (2026-07-28T16:19:03Z) - Privacy-Preserving Local Language Models for Longitudinal Data Retrieval in Chronic Dermatologic Disease: Implementation in Pemphigus Patients [0.28909295536379814]
ペムフィガスのような慢性皮膚疾患は長期の経過観察を必要とする。
プライバシ保存型小言語モデル(SLM)は、構造化された臨床特徴を検索し、長手要約を生成する。
論文 参考訳（メタデータ） (2026-05-24T12:00:13Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning? [31.103598483020857]
大規模視覚言語モデル(LVLM)は皮膚学において強い性能を示す。
稀な疾患に対する診断的推論は ほとんど未発見のままです
このデータセットには26,030のマルチモーダル画像テキストペアと6,354の臨床的に困難な症例が含まれている。
LVLMをリードするベンチマーク22は、診断精度、鑑別診断、臨床推論に重大な欠陥を呈する。
論文 参考訳（メタデータ） (2026-03-19T02:25:36Z) - Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。
専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。
GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
論文 参考訳（メタデータ） (2026-03-14T23:47:53Z) - A DeepSeek-Powered AI System for Automated Chest Radiograph Interpretation in Clinical Practice [83.11942224668127]
Janus-Pro-CXR (1B) はDeepSeek Janus-Proモデルに基づく胸部X線解釈システムである。
本システムは, 自動レポート生成において, 最先端のX線レポート生成モデルより優れる。
論文 参考訳（メタデータ） (2025-12-23T13:26:13Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。
Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。
厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
論文 参考訳（メタデータ） (2025-08-29T08:58:39Z) - An Agentic System for Rare Disease Diagnosis with Traceable Reasoning [69.46279475491164]
大型言語モデル(LLM)を用いた最初のまれな疾患診断エージェントシステムであるDeepRareを紹介する。
DeepRareは、まれな疾患の診断仮説を分類し、それぞれに透明な推論の連鎖が伴う。
このシステムは2,919の疾患に対して異常な診断性能を示し、1013の疾患に対して100%の精度を達成している。
論文 参考訳（メタデータ） (2025-06-25T13:42:26Z) - PathBench: A comprehensive comparison benchmark for pathology foundation models towards precision oncology [33.51485504161335]
病理基盤モデル(PFM)の最初の包括的なベンチマークであるPathBenchを紹介する。
我々のフレームワークは大規模データを組み込んで,PFMの客観的比較を可能にする。
当院では10病院で8,549人の患者から15,888件のWSIを収集し,64件以上の診断・予後調査を行った。
論文 参考訳（メタデータ） (2025-05-26T16:42:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。