論文の概要: ClinicalLab: Aligning Agents for Multi-Departmental Clinical Diagnostics in the Real World

• arxiv url: http://arxiv.org/abs/2406.13890v2
• Date: Wed, 09 Oct 2024 19:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:35.464496
• Title: ClinicalLab: Aligning Agents for Multi-Departmental Clinical Diagnostics in the Real World
• Title（参考訳）: 臨床ラボ : 実世界における多施設臨床診断のための調整剤
• Authors: Weixiang Yan, Haitian Liu, Tengxiao Wu, Qian Chen, Wen Wang, Haoyuan Chai, Jiayi Wang, Weishan Zhao, Yixin Zhang, Renjun Zhang, Li Zhu, Xuandong Zhao,
• Abstract要約: 包括的臨床診断剤アライメントスイートである ClinicalLab を紹介する。 ClinicalLabには、エンドツーエンドの多部門間臨床診断評価ベンチマークである ClinicalBenchが含まれている。 我々は17個のLDMを評価し,その性能が各部門で大きく異なることを発見した。
• 参考スコア（独自算出の注目度）: 34.35946008449027
• License:
• Abstract: LLMs have achieved significant performance progress in various NLP applications. However, LLMs still struggle to meet the strict requirements for accuracy and reliability in the medical field and face many challenges in clinical applications. Existing clinical diagnostic evaluation benchmarks for evaluating medical agents powered by LLMs have severe limitations. Firstly, most existing medical evaluation benchmarks face the risk of data leakage or contamination. Secondly, existing benchmarks often neglect the characteristics of multiple departments and specializations in modern medical practice. Thirdly, existing evaluation methods are limited to multiple-choice questions, which do not align with the real-world diagnostic scenarios. Lastly, existing evaluation methods lack comprehensive evaluations of end-to-end real clinical scenarios. These limitations in benchmarks in turn obstruct advancements of LLMs and agents for medicine. To address these limitations, we introduce ClinicalLab, a comprehensive clinical diagnosis agent alignment suite. ClinicalLab includes ClinicalBench, an end-to-end multi-departmental clinical diagnostic evaluation benchmark for evaluating medical agents and LLMs. ClinicalBench is based on real cases that cover 24 departments and 150 diseases. ClinicalLab also includes four novel metrics (ClinicalMetrics) for evaluating the effectiveness of LLMs in clinical diagnostic tasks. We evaluate 17 LLMs and find that their performance varies significantly across different departments. Based on these findings, in ClinicalLab, we propose ClinicalAgent, an end-to-end clinical agent that aligns with real-world clinical diagnostic practices. We systematically investigate the performance and applicable scenarios of variants of ClinicalAgent on ClinicalBench. Our findings demonstrate the importance of aligning with modern medical practices in designing medical agents.
• Abstract（参考訳）: LLMは様々なNLPアプリケーションで大幅な性能向上を実現している。 しかし、LSMは医療分野における精度と信頼性の厳格な要件を満たすのに苦慮し、臨床応用において多くの課題に直面している。 LLMを用いた医薬評価のための既存の臨床診断評価ベンチマークには、厳しい制限がある。 まず、既存の医療評価ベンチマークのほとんどは、データ漏洩や汚染のリスクに直面している。 第二に、既存のベンチマークは、現代の医療実践において、複数の部門の特徴や専門性を無視することが多い。 第3に、既存の評価手法は、現実の診断シナリオと一致しない複数選択の質問に限られている。 最後に、既存の評価手法は、エンド・ツー・エンドの実際の臨床シナリオの総合的な評価を欠いている。 これらのベンチマークの制限により、LSMや薬品の進歩が妨げられる。 これらの制約に対処するために,包括的臨床診断薬アライメントスイートである ClinicalLab を導入する。 ClinicalLabには、医療エージェントとLLMを評価するための、エンドツーエンドの多部門間臨床診断評価ベンチマークであるCrictorBenchが含まれている。 ClinicalBenchは、24の部門と150の疾患をカバーする実例に基づいている。 ClinicalLabには、臨床診断タスクにおけるLLMの有効性を評価するための4つの新しい指標(Clinical Metrics)も含まれている。 我々は17個のLDMを評価し,その性能が各部門で大きく異なることを発見した。 これらの知見をもとに,臨床診断の実践と整合したエンド・ツー・エンドの臨床薬であるCrysicalAgentを提案する。 臨床ベンチにおける臨床エージェントの変異体の性能と応用シナリオを系統的に検討した。 本研究は, 医薬設計における現代医療実践との整合性の重要性を示唆するものである。

関連論文リスト

• CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
  CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。 このベンチマークの信頼性はいくつかの点で確認されている。
  論文  参考訳（メタデータ） (2024-10-04T15:15:36Z)
• CliBench: A Multifaceted and Multigranular Evaluation of Large Language Models for Clinical Decision Making [16.310913127940857]
  我々はMIMIC IVデータセットから開発された新しいベンチマークであるCliBenchを紹介する。 このベンチマークは、臨床診断におけるLSMの能力を包括的かつ現実的に評価する。 臨床診断の熟練度を評価するため,先進LSMのゼロショット評価を行った。
  論文  参考訳（メタデータ） (2024-06-14T11:10:17Z)
• AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments [2.567146936147657]
  シミュレーションされた臨床環境における大規模言語モデル(LLM)の評価のためのマルチモーダルエージェントベンチマークであるAgentClinicを紹介する。 我々は,AgentClinicの逐次決定形式におけるMedQA問題の解決が極めて困難であることに気付き,診断精度が元の精度の10分の1以下に低下することを発見した。
  論文  参考訳（メタデータ） (2024-05-13T17:38:53Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• Towards Automatic Evaluation for LLMs' Clinical Capabilities: Metric, Data, and Algorithm [15.627870862369784]
  大規模言語モデル (LLMs) は, 臨床診断の効率向上への関心が高まっている。 臨床サービス提供におけるLCMの能力を評価するための自動評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-25T06:17:54Z)
• Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [59.60384461302662]
  医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。 Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。 また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
  論文  参考訳（メタデータ） (2024-02-17T08:04:23Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models [56.36916128631784]
  中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。 このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。 幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
  論文  参考訳（メタデータ） (2023-12-20T07:01:49Z)
• Large Language Models are Clinical Reasoners: Reasoning-Aware Diagnosis Framework with Prompt-Generated Rationales [15.362903610463285]
  本稿では,素早い学習を通して診断過程を合理化する「推論認識」診断フレームワークを提案する。 そこで本研究では,実世界の臨床環境に対する機械生成的合理化の可能性を評価するための新しい基準セットを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。