Fugu-MT 論文翻訳(概要): TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models

論文の概要: TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models

arxiv url: http://arxiv.org/abs/2406.04941v1
Date: Fri, 7 Jun 2024 13:48:15 GMT
ステータス: 処理完了
システム内更新日: 2024-06-10 13:51:43.653562
Title: TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models
Title（参考訳）: TCMD: 大規模言語モデル評価のための伝統的な中国医学QAデータセット
Authors: Ping Yu, Kaitao Song, Fengchen He, Ming Chen, Jianfeng Lu,
Abstract要約: 従来の中国医学検査課題を解くための大規模な手動指導を含む,新しいQAデータセットを提案する。 TCMDは、注釈付き医療科目で、さまざまな領域にまたがって大量の質問を集めています。
参考スコア（独自算出の注目度）: 22.76485170022542
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The recently unprecedented advancements in Large Language Models (LLMs) have propelled the medical community by establishing advanced medical-domain models. However, due to the limited collection of medical datasets, there are only a few comprehensive benchmarks available to gauge progress in this area. In this paper, we introduce a new medical question-answering (QA) dataset that contains massive manual instruction for solving Traditional Chinese Medicine examination tasks, called TCMD. Specifically, our TCMD collects massive questions across diverse domains with their annotated medical subjects and thus supports us in comprehensively assessing the capability of LLMs in the TCM domain. Extensive evaluation of various general LLMs and medical-domain-specific LLMs is conducted. Moreover, we also analyze the robustness of current LLMs in solving TCM QA tasks by introducing randomness. The inconsistency of the experimental results also reveals the shortcomings of current LLMs in solving QA tasks. We also expect that our dataset can further facilitate the development of LLMs in the TCM area.
Abstract（参考訳）: 最近、LLM(Large Language Models)の先例のない進歩は、先進的な医療ドメインモデルを確立することで、医療コミュニティを推進している。しかし、医療データセットの収集が限られているため、この分野の進捗を測るために利用可能な総合的なベンチマークはわずかである。本稿では,従来の中国医学検査課題を解くための大規模な手動指導を含む,新しいQAデータセットについて紹介する。特に,本論文では,アノテーションを付与した医療領域にまたがる膨大な質問を収集し,TCM領域におけるLCMの能力の総合的な評価を支援する。各種 LLM および医療領域特異的 LLM の大規模評価を行った。さらに,TCM QAタスクにおける現在のLLMのロバスト性についても,ランダム性を導入して分析する。実験結果の不整合は、QAタスクの解決における現在のLLMの欠点も明らかにしている。また、我々のデータセットは、TCM領域におけるLLMの開発をさらに促進できると期待している。

関連論文リスト

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文参考訳（メタデータ） (2024-11-14T06:19:18Z)
CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。このベンチマークの信頼性はいくつかの点で確認されている。
論文参考訳（メタデータ） (2024-10-04T15:15:36Z)
GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
論文参考訳（メタデータ） (2024-08-06T17:59:21Z)
MultifacetEval: Multifaceted Evaluation to Probe LLMs in Mastering Medical Knowledge [4.8004472307210255]
大規模言語モデル (LLMs) はドメイン間で優れており、医療評価ベンチマークで顕著なパフォーマンスを提供している。しかし、実際の医療シナリオにおける報告されたパフォーマンスと実践的効果の間には、依然として大きなギャップがある。医療知識のエンコーディングと習得におけるLLMの程度と範囲を検討するための,新しい評価フレームワークであるMultifacetEvalを開発した。
論文参考訳（メタデータ） (2024-06-05T04:15:07Z)
Large Language Models for Medicine: A Survey [31.720633684205424]
大規模言語モデル(LLM)は、デジタル経済のデジタルインテリジェンスにおける課題に対処するために開発された。本稿では,医療用LLMの要件と応用について述べる。
論文参考訳（メタデータ） (2024-05-20T02:32:26Z)
COGNET-MD, an evaluation framework and dataset for Large Language Model benchmarks in the medical domain [1.6752458252726457]
大規模言語モデル(LLM)は最先端の人工知能(AI)技術である。医療領域認知ネットワーク評価ツールキット(COGNET-MD)について概説する。医用テキストの解釈におけるLCMの能力を評価するのが困難であるスコアフレームを提案する。
論文参考訳（メタデータ） (2024-05-17T16:31:56Z)
Evaluating large language models in medical applications: a survey [1.5923327069574245]
大規模言語モデル(LLM)は、多くのドメインにまたがる変換可能性を持つ強力なツールとして登場した。医学的文脈におけるLCMのパフォーマンスを評価することは、医療情報の複雑で批判的な性質から、ユニークな課題を提示する。
論文参考訳（メタデータ） (2024-05-13T05:08:33Z)
RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question Answering and Clinical Reasoning [14.366349078707263]
RJUA-MedDQAは医学専門分野における総合的なベンチマークである。本稿では医学専門分野の総合的なベンチマークであるRJUA-MedDQAを紹介する。
論文参考訳（メタデータ） (2024-02-19T06:57:02Z)
Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [59.60384461302662]
医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。 Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
論文参考訳（メタデータ） (2024-02-17T08:04:23Z)
AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文参考訳（メタデータ） (2024-02-15T06:46:48Z)
A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文参考訳（メタデータ） (2023-11-09T02:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。