論文の概要: TCMClinicalReason-Bench: Can Language Models Reason from Pathogenesis to Prescription over Real-World Clinical Cases?
- arxiv url: http://arxiv.org/abs/2610.04215v1
- Date: Sat, 03 Oct 2026 02:05:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 19:17:26.792572
- Title: TCMClinicalReason-Bench: Can Language Models Reason from Pathogenesis to Prescription over Real-World Clinical Cases?
- Title(参考訳): TCMClinicalReason-Bench : 言語モデルが病因から病因から病因への推論に有効か?
- Abstract要約: 大きな言語モデル(LLM)は、患者固有の証拠に不十分な臨床物語を生成することができる。
TCMClinicalReason-Bench を用いた症例地上反応の診断と治療成績の鑑別を行った。
- 参考スコア(独自算出の注目度): 13.467418961332227
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) can generate clinical narratives that are insufficiently grounded in patient-specific evidence. In traditional Chinese medicine (TCM), errors can propagate from etiology and pathogenesis through syndrome diagnosis and treatment principles to prescription generation. We developed TCMClinicalReason-Bench using 2,000 multicenter electronic health record cases to distinguish case-grounded responses from fluent but unsupported diagnostic and therapeutic conclusions. Five general-purpose and two TCM-specific LLMs were evaluated in zero-shot settings. An evidence-constrained rubric assessed seven diagnostic and therapeutic components and three cross-block relations, allowing case-supported alternatives. Qwen3.7-Plus with TCM retrieval served as the automated judge, alongside parallel blinded ratings by five senior TCM clinicians on a 600-case subset. Structural completeness was nearly saturated (99.3-100.0%), but normalized content scores ranged from 40.7% to 54.1%. The five general-purpose models averaged 50.0%, versus 41.3% for the two smaller TCM-specific models. Cross-block logic consistency ranged from 60.8% to 66.8% and correlated moderately with content across cases (Pearson's r = 0.515-0.656). Deficits were greatest in prescription generation, prescription analysis, and symptom-guided modification. In judge stress testing on 100 independent cases, perturbation detection rates across the three relations were 57%, 56%, and 31%, with contradictions detected more reliably than omissions. Separating component quality from cross-block consistency localizes failures missed by endpoint and completeness metrics and identifies where clinician oversight remains necessary.
- Abstract(参考訳): 大きな言語モデル(LLM)は、患者固有の証拠に不十分な臨床物語を生成することができる。
伝統的な中国医学(TCM)では、エラーは病因や病原性から、症候群の診断や治療の原則を経て処方薬の生成へと伝播することがある。
TCMClinicalReason-Benchを2000件の電子カルテを用いて開発した。
5つの汎用LLMと2つのTCM固有のLCMをゼロショット設定で評価した。
根拠に制約のあるルーリックは7つの診断・治療要素と3つのクロスブロック関係を評価し、ケース支持型代替品を許容した。
TCM検索のQwen3.7-Plusは、600ケースのサブセットで5人のシニアTCM臨床医による同時盲検評価とともに、自動化された審査員として機能した。
構造的完全性はほぼ飽和状態(99.3-100.0%)であったが、正規化コンテンツスコアは40.7%から54.1%であった。
5つの汎用モデルは平均50.0%であり、2つの小さなTCM仕様モデルでは41.3%であった。
クロスブロック論理の整合性は60.8%から66.8%まで変化し、ケースごとの内容と適度に相関した(ピアソンの r = 0.515-0.656)。
欠陥は処方薬生成,処方薬分析,症状誘導修飾において最大であった。
独立性100例の判定ストレステストでは, 3つの関係の摂動検出率は57%, 56%, 31%であり, 矛盾は欠落よりも確実に検出された。
クロスブロック一貫性からコンポーネント品質を分離することで、エンドポイントと完全性メトリクスによって欠落した障害をローカライズし、臨床医の監視が必要な場所を特定する。
関連論文リスト
- Auditable agentic AI for evidence-grounded thyroid ultrasound diagnosis and reporting [59.709162055944915]
ThyroidXAgentは、特殊な診断ツールをコーディネートし、その出力を監査可能なケースレベルの証拠記録として保存するエージェントAIシステムである。
NHC-MISD-TUSコホート内35施設8,721件を含む,重複しない28,458件の検査を行った。
セグメンテーションでは平均Diceスコアが87.21パーセント、良悪性分類では平均AUROCが0.9466だった。
論文 参考訳(メタデータ) (2026-08-12T21:02:59Z) - RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning [42.80742579670377]
RareLensは、まれな疾患の軌跡全体にわたる臨床的意思決定を支援するシステムである。
RareBenchは、33のOrphanetカテゴリと7000以上の条件にまたがる157,525件の実際のデータセットである。
検診で0.917、診断と治療で65.5%、89.8%の成績を収めた。
論文 参考訳(メタデータ) (2026-07-25T16:58:10Z) - MamaBench: Benchmarking LLM Robustness in Maternal and Child Health Diagnosis through Counterfactual Clinical Perturbation [0.49454229616760287]
大規模言語モデルは医学ベンチマークで強いスコアを得るが、これらのベンチマークはそれぞれの質問を独立して評価する。
ママベンチ(MamaBench)は、母体と小児のAIに対する最初のカウンターファクトのベンチマークである。
Evidence-Anchored RAGは,アグリゲート類似性をエビデンスカバレッジの目的に置き換える3段階検索手法である。
論文 参考訳(メタデータ) (2026-07-15T21:56:19Z) - TriALS: Triphasic-Aided Liver Lesion Segmentation Benchmark in Non-Contrast CT [49.93685997940356]
コントラスト制限条件下での肝病変の自動分節に対するTriALSの課題について述べる。
最高性能は平均静脈圧0.754で, NCCTでは0.57に低下した。
アルゴリズムの性能は、トレーニングデータスケールと事前学習戦略によって最も強く予測された。
論文 参考訳(メタデータ) (2026-05-15T19:23:35Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳(メタデータ) (2026-04-06T00:23:10Z) - Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。
専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。
GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
論文 参考訳(メタデータ) (2026-03-14T23:47:53Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳(メタデータ) (2026-03-02T00:50:39Z) - An Agentic System for Rare Disease Diagnosis with Traceable Reasoning [69.46279475491164]
大型言語モデル(LLM)を用いた最初のまれな疾患診断エージェントシステムであるDeepRareを紹介する。
DeepRareは、まれな疾患の診断仮説を分類し、それぞれに透明な推論の連鎖が伴う。
このシステムは2,919の疾患に対して異常な診断性能を示し、1013の疾患に対して100%の精度を達成している。
論文 参考訳(メタデータ) (2025-06-25T13:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。