論文の概要: MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models

• arxiv url: http://arxiv.org/abs/2407.10990v1
• Date: Mon, 24 Jun 2024 02:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 12:39:32.158144
• Title: MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models
• Title（参考訳）: MedBench:中国医学大言語モデル評価のための総合的、標準化され、信頼性の高いベンチマークシステム
• Authors: Mianxin Liu, Jinru Ding, Jie Xu, Weiguo Hu, Xiaoyang Li, Lifeng Zhu, Zhian Bai, Xiaoming Shi, Benyou Wang, Haitao Song, Pengfei Liu, Xiaofan Zhang, Shanshan Wang, Kang Li, Haofen Wang, Tong Ruan, Xuanjing Huang, Xin Sun, Shaoting Zhang,
• Abstract要約: メドベンチ(MedBench)は、中国の医学LLMの総合的、標準化され、信頼性の高いベンチマークシステムである。 まず、MedBenchは43の臨床専門分野をカバーするために、最大の評価データセット(300,901の質問)を組み立てる。 第3に、MedBenchは動的評価機構を実装し、ショートカット学習や解答記憶を防ぐ。
• 参考スコア（独自算出の注目度）: 55.215061531495984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring the general efficacy and goodness for human beings from medical large language models (LLM) before real-world deployment is crucial. However, a widely accepted and accessible evaluation process for medical LLM, especially in the Chinese context, remains to be established. In this work, we introduce "MedBench", a comprehensive, standardized, and reliable benchmarking system for Chinese medical LLM. First, MedBench assembles the currently largest evaluation dataset (300,901 questions) to cover 43 clinical specialties and performs multi-facet evaluation on medical LLM. Second, MedBench provides a standardized and fully automatic cloud-based evaluation infrastructure, with physical separations for question and ground truth. Third, MedBench implements dynamic evaluation mechanisms to prevent shortcut learning and answer remembering. Applying MedBench to popular general and medical LLMs, we observe unbiased, reproducible evaluation results largely aligning with medical professionals' perspectives. This study establishes a significant foundation for preparing the practical applications of Chinese medical LLMs. MedBench is publicly accessible at https://medbench.opencompass.org.cn.
• Abstract（参考訳）: 医療用大規模言語モデル(LLM)による人体に対する汎用的有効性と善意の確保が不可欠である。 しかし、医学LLMの広く受け入れられ、アクセス可能な評価プロセス、特に中国の文脈では、確立されていない。 本研究では,中国医学LLMの総合的,標準化された,信頼性の高いベンチマークシステムであるMedBenchを紹介する。 まず、MedBenchは、43の臨床専門分野をカバーするために、現在最大の評価データセット(300,901の質問)を組み立て、医療用LLMで多面的評価を行う。 第二に、MedBenchは標準化され、完全に自動化されたクラウドベースの評価インフラを提供する。 第三に、MedBenchは動的評価機構を実装し、ショートカット学習や解答記憶を防ぐ。 MedBench を一般的な一般医療用 LLM に適用することにより,医療専門家の視点に合わせた,偏見のない再現可能な評価結果が得られた。 本研究は,中国の医療用LDMの実用化に向けた重要な基盤を確立するものである。 MedBenchはhttps://medbench.opencompass.org.cnで公開されている。

関連論文リスト

• CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
  CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。 このベンチマークの信頼性はいくつかの点で確認されている。
  論文  参考訳（メタデータ） (2024-10-04T15:15:36Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [59.60384461302662]
  医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。 Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。 また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
  論文  参考訳（メタデータ） (2024-02-17T08:04:23Z)
• MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models [56.36916128631784]
  中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。 このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。 幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
  論文  参考訳（メタデータ） (2023-12-20T07:01:49Z)
• PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain [24.411904114158673]
  我々は、中国生物医学言語理解評価(CBlue)ベンチマークを大規模なプロンプトチューニングベンチマークであるPromptCBlueに再構築した。 我々のベンチマークは、幅広いバイオメディカルタスクにおいて、中国のLCMのマルチタスク能力を評価するのに適したテストベッドであり、オンラインプラットフォームである。
  論文  参考訳（メタデータ） (2023-10-22T02:20:38Z)
• CMB: A Comprehensive Medical Benchmark in Chinese [67.69800156990952]
  そこで我々は,中国語の包括的医療ベンチマークであるCMB(Comprehensive Medical Benchmark)を提案する。 伝統的な中国医学はこの評価に欠かせないものであるが、全体としては成り立たない。 われわれは,ChatGPT,GPT-4,中国専用LSM,医療分野に特化したLSMなど,いくつかの大規模LSMを評価した。
  論文  参考訳（メタデータ） (2023-08-17T07:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。