論文の概要: PediaBench: A Comprehensive Chinese Pediatric Dataset for Benchmarking Large Language Models

• arxiv url: http://arxiv.org/abs/2412.06287v1
• Date: Mon, 09 Dec 2024 08:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:46.341620
• Title: PediaBench: A Comprehensive Chinese Pediatric Dataset for Benchmarking Large Language Models
• Title（参考訳）: PediaBench: 大規模言語モデルのベンチマークのための総合的な中国語小児データセット
• Authors: Qian Zhang, Panfeng Chen, Jiali Li, Linkun Feng, Shuyu Liu, Mei Chen, Hui Li, Yanhao Wang,
• Abstract要約: LLM評価のための中国初の小児科用データセットであるPediaBenchを構築した。 対象質問4,565件、主観的質問1,632件、小児疾患グループ12件。 LLMの熟練度を徹底的に評価するために、異なる難易度に基づいて総合的なスコアリング基準を採用する。
• 参考スコア（独自算出の注目度）: 14.650349383353511
• License:
• Abstract: The emergence of Large Language Models (LLMs) in the medical domain has stressed a compelling need for standard datasets to evaluate their question-answering (QA) performance. Although there have been several benchmark datasets for medical QA, they either cover common knowledge across different departments or are specific to another department rather than pediatrics. Moreover, some of them are limited to objective questions and do not measure the generation capacity of LLMs. Therefore, they cannot comprehensively assess the QA ability of LLMs in pediatrics. To fill this gap, we construct PediaBench, the first Chinese pediatric dataset for LLM evaluation. Specifically, it contains 4,565 objective questions and 1,632 subjective questions spanning 12 pediatric disease groups. It adopts an integrated scoring criterion based on different difficulty levels to thoroughly assess the proficiency of an LLM in instruction following, knowledge understanding, clinical case analysis, etc. Finally, we validate the effectiveness of PediaBench with extensive experiments on 20 open-source and commercial LLMs. Through an in-depth analysis of experimental results, we offer insights into the ability of LLMs to answer pediatric questions in the Chinese context, highlighting their limitations for further improvements. Our code and data are published at https://github.com/ACMISLab/PediaBench.
• Abstract（参考訳）: 医学領域におけるLarge Language Models(LLM)の出現は、QAのパフォーマンスを評価するための標準データセットの必要性を強調している。 医学的QAのためのベンチマークデータセットはいくつかあるが、それらは異なる部署で共通の知識をカバーしているか、あるいは小児科ではなく別の部署に特化している。 さらに,その一部は客観的な質問に限られており,LLMの生成能力は測定されていない。 したがって、彼らは小児科におけるLSMのQA能力を包括的に評価することはできない。 このギャップを埋めるために,中国初のLCM評価用小児科用データセットであるPediaBenchを構築した。 具体的には、12の小児病グループにまたがる4,565の客観的質問と1,632の主観的質問を含む。 異なる難易度に基づいて総合的なスコアリング基準を採用し、後続の指導、知識理解、臨床症例分析等におけるLCMの習熟度を徹底的に評価する。 最後に,PediaBenchの有効性を検証し,20のオープンソースおよび商用LLMに対して広範な実験を行った。 実験結果の詳細な分析を通じて、中国の文脈における小児科の質問に答えるLLMの能力に関する知見を提供し、さらなる改善の限界を強調した。 私たちのコードとデータはhttps://github.com/ACMISLab/PediaBench.comで公開されています。

関連論文リスト

• A Benchmark for Long-Form Medical Question Answering [4.815957808858573]
  長期医療質問応答(QA)における大規模言語モデル(LLM)の評価のためのベンチマークの欠如 既存のQA評価ベンチマークのほとんどは、自動メトリクスと複数項目の質問に焦点を当てている。 本研究は,医科医が注釈を付した長文回答評価を伴う現実の消費者医療質問を特徴とする,新たに公開されたベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T22:54:38Z)
• CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
  CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。 このベンチマークの信頼性はいくつかの点で確認されている。
  論文  参考訳（メタデータ） (2024-10-04T15:15:36Z)
• A Preliminary Study of o1 in Medicine: Are We Closer to an AI Doctor? [33.70022886795487]
  OpenAIのo1は、強化学習戦略を使ったチェーン・オブ・ソート技術を使った最初のモデルとして際立っている。 本報告では、様々な医療シナリオにおけるo1の総合的な探索を行い、理解、推論、多言語性という3つの重要な側面について検討する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:43Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Performance of large language models in numerical vs. semantic medical knowledge: Benchmarking on evidence-based Q&As [1.0034156461900003]
  大規模言語モデル(LLM)は言語ベースの臨床実践の多くの側面において有望な結果を示す。 包括的医療知識グラフ(50,00以上の査読済み記事から得られたデータ)を用いて「EBMQA」を作成しました。 私たちはこのデータセットを、最先端の2つのLLMであるChat-GPT4とClaude3-Opusについて24,500以上の質問を使ってベンチマークした。 いずれのLLMも数値QAよりもセマンティックに優れており,Claude3は数値QAでGPT4を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T08:41:46Z)
• Multiple Choice Questions and Large Languages Models: A Case Study with Fictional Medical Data [3.471944921180245]
  非存在腺であるGlianorexに焦点をあてた架空の医療ベンチマークを開発した。 このアプローチにより、LSMの知識をテストテイク能力から切り離すことができます。 我々は、これらの質問をゼロショット設定で、様々なオープンソース、プロプライエタリ、ドメイン固有のLCMを評価した。
  論文  参考訳（メタデータ） (2024-06-04T15:08:56Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• LHMKE: A Large-scale Holistic Multi-subject Knowledge Evaluation Benchmark for Chinese Large Language Models [46.77647640464652]
  Chinese Large Language Models (LLMs)は、最近、様々なNLPベンチマークと実世界のアプリケーションで印象的な能力を実証した。 大規模・完全・多目的知識評価ベンチマークLHMKEを提案する。 初等学校から専門的認定試験まで、30の科目をカバーする75の課題に10,465の質問がある。
  論文  参考訳（メタデータ） (2024-03-19T10:11:14Z)
• MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models [56.36916128631784]
  中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。 このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。 幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
  論文  参考訳（メタデータ） (2023-12-20T07:01:49Z)
• Benchmarking Large Language Models on CMExam -- A Comprehensive Chinese Medical Exam Dataset [31.047827145874844]
  中国国立医学ライセンス試験から得られたCMExamについて紹介する。 CMExamは、標準化および客観的評価のための60K以上の多重選択質問と、オープンエンドなモデル推論評価のためのソリューション説明で構成されている。 LLMの詳細な分析のために、我々は医療専門家に、病気グループ、臨床部門、医学分野、能力領域、難易度レベルを含む5つの追加の質問点アノテーションのラベル付けを依頼した。
  論文  参考訳（メタデータ） (2023-06-05T16:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。