論文の概要: AutoMedEval: Harnessing Language Models for Automatic Medical Capability Evaluation

• arxiv url: http://arxiv.org/abs/2505.11887v1
• Date: Sat, 17 May 2025 07:44:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.917255
• Title: AutoMedEval: Harnessing Language Models for Automatic Medical Capability Evaluation
• Title（参考訳）: AutoMedEval:医療機能評価のためのハーネス言語モデル
• Authors: Xiechi Zhang, Zetian Ouyang, Linlin Wang, Gerard de Melo, Zhu Cao, Xiaoling Wang, Ya Zhang, Yanfeng Wang, Liang He,
• Abstract要約: 本稿では,医療用LLMの質問応答能力を測定するために,13Bパラメータを用いたオープンソースの自動評価モデルAutoMedEvalを提案する。 AutoMedEvalの包括的な目的は、多様なモデルが生み出す応答の質を評価することであり、人間の評価への依存を著しく低減することを目的としている。
• 参考スコア（独自算出の注目度）: 55.2739790399209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the proliferation of large language models (LLMs) in the medical domain, there is increasing demand for improved evaluation techniques to assess their capabilities. However, traditional metrics like F1 and ROUGE, which rely on token overlaps to measure quality, significantly overlook the importance of medical terminology. While human evaluation tends to be more reliable, it can be very costly and may as well suffer from inaccuracies due to limits in human expertise and motivation. Although there are some evaluation methods based on LLMs, their usability in the medical field is limited due to their proprietary nature or lack of expertise. To tackle these challenges, we present AutoMedEval, an open-sourced automatic evaluation model with 13B parameters specifically engineered to measure the question-answering proficiency of medical LLMs. The overarching objective of AutoMedEval is to assess the quality of responses produced by diverse models, aspiring to significantly reduce the dependence on human evaluation. Specifically, we propose a hierarchical training method involving curriculum instruction tuning and an iterative knowledge introspection mechanism, enabling AutoMedEval to acquire professional medical assessment capabilities with limited instructional data. Human evaluations indicate that AutoMedEval surpasses other baselines in terms of correlation with human judgments.
• Abstract（参考訳）: 医療領域における大規模言語モデル(LLM)の普及に伴い,その能力を評価するための評価手法の改善が求められている。 しかし、トークンの重複に依存するF1やROUGEのような伝統的なメトリクスは、医療用語の重要性を著しく見落としている。 人間の評価は信頼性が高い傾向にあるが、非常にコストがかかり、人間の専門性やモチベーションに限界があるため不正確さに悩まされることもある。 LLMに基づく評価手法はいくつかあるが、医療分野におけるユーザビリティは、その独自性や専門知識の欠如により制限されている。 これらの課題に対処するために,医療用LLMの問合せ能力を測定するために,13Bパラメータを用いたオープンソースの自動評価モデルAutoMedEvalを提案する。 AutoMedEvalの包括的な目的は、多様なモデルが生み出す応答の質を評価することであり、人間の評価への依存を著しく低減することを目的としている。 具体的には,カリキュラムの指導チューニングと反復的知識検査機構を取り入れた階層的学習手法を提案し,AutoMedEvalが限られた指導データで専門的な医療評価能力を獲得できるようにする。 人間による評価は、AutoMedEvalが人間の判断と相関する点において、他のベースラインを上回っていることを示している。

関連論文リスト

• Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
  医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。 現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。 我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
  論文  参考訳（メタデータ） (2025-04-21T16:51:11Z)
• A Scalable Framework for Evaluating Health Language Models [16.253655494186905]
  大規模言語モデル(LLM)は、複雑なデータセットを分析する強力なツールとして登場した。 オープンエンドテキスト応答の現在の評価実践は、人間の専門家に大きく依存している。 この研究はAdaptive Precise Boolean rubrics(リンク)を紹介している。
  論文  参考訳（メタデータ） (2025-03-30T06:47:57Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Towards Leveraging Large Language Models for Automated Medical Q&A Evaluation [2.7379431425414693]
  本稿では,大規模言語モデル(LLM)を用いて,Q&Aシステムにおける応答評価を自動化する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-03T14:38:29Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)
• Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation [56.25869366777579]
  近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
  論文  参考訳（メタデータ） (2022-04-01T14:04:16Z)
• MedPerf: Open Benchmarking Platform for Medical Artificial Intelligence using Federated Evaluation [110.31526448744096]
  この可能性を解き明かすには、大規模な異種データに対して医療AIモデルの性能を測定する体系的な方法が必要である、と私たちは主張する。 MedPerfは、医療分野で機械学習をベンチマークするためのオープンフレームワークです。
  論文  参考訳（メタデータ） (2021-09-29T18:09:41Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。