Fugu-MT 論文翻訳(概要): A Literature Review and Framework for Human Evaluation of Generative Large Language Models in Healthcare

論文の概要: A Literature Review and Framework for Human Evaluation of Generative Large Language Models in Healthcare

arxiv url: http://arxiv.org/abs/2405.02559v1
Date: Sat, 4 May 2024 04:16:07 GMT
ステータス: 処理完了
システム内更新日: 2024-05-07 19:30:33.334795
Title: A Literature Review and Framework for Human Evaluation of Generative Large Language Models in Healthcare
Title（参考訳）: 医療における生成型大規模言語モデルの人的評価のための文献レビューと枠組み
Authors: Thomas Yu Chow Tam, Sonish Sivarajkumar, Sumit Kapoor, Alisa V Stolyar, Katelyn Polanska, Karleigh R McCarthy, Hunter Osterhoudt, Xizhi Wu, Shyam Visweswaran, Sunyang Fu, Piyush Mathur, Giovanni E. Cacciamani, Cong Sun, Yifan Peng, Yanshan Wang,
Abstract要約: 人工人工知能(AI)は医療に浸透し続けている。従来の自動評価を人間の専門家による評価で補うことは依然として重要です。人間の評価の煩雑さ、時間を要すること、そして標準化されていない性質は、実際に大規模言語モデルが広く採用される上で大きな障害となる。
参考スコア（独自算出の注目度）: 11.28580626017631
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As generative artificial intelligence (AI), particularly Large Language Models (LLMs), continues to permeate healthcare, it remains crucial to supplement traditional automated evaluations with human expert evaluation. Understanding and evaluating the generated texts is vital for ensuring safety, reliability, and effectiveness. However, the cumbersome, time-consuming, and non-standardized nature of human evaluation presents significant obstacles to the widespread adoption of LLMs in practice. This study reviews existing literature on human evaluation methodologies for LLMs within healthcare. We highlight a notable need for a standardized and consistent human evaluation approach. Our extensive literature search, adhering to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) guidelines, spans publications from January 2018 to February 2024. This review provides a comprehensive overview of the human evaluation approaches used in diverse healthcare applications.This analysis examines the human evaluation of LLMs across various medical specialties, addressing factors such as evaluation dimensions, sample types, and sizes, the selection and recruitment of evaluators, frameworks and metrics, the evaluation process, and statistical analysis of the results. Drawing from diverse evaluation strategies highlighted in these studies, we propose a comprehensive and practical framework for human evaluation of generative LLMs, named QUEST: Quality of Information, Understanding and Reasoning, Expression Style and Persona, Safety and Harm, and Trust and Confidence. This framework aims to improve the reliability, generalizability, and applicability of human evaluation of generative LLMs in different healthcare applications by defining clear evaluation dimensions and offering detailed guidelines.
Abstract（参考訳）: 生成的人工知能(AI)、特にLarge Language Models(LLM)は医療に浸透し続けているため、従来の自動評価を人間の専門家による評価で補うことが不可欠である。生成したテキストの理解と評価は、安全性、信頼性、有効性を保証する上で不可欠である。しかし、人間の評価の煩雑さ、時間を要すること、そして標準化されていない性質は、実際にLLMを広く採用する上で大きな障害となる。本研究は、医療におけるLSMの人的評価手法に関する既存の文献をレビューする。我々は、標準化された一貫した人間評価アプローチに対する顕著なニーズを強調します。 The Preferred Reporting Items for Systematic Reviews and Meta-Analyses(PRISMA)ガイドラインに従って,2018年1月から2024年2月までの文献検索を行った。本総説では, 多様な医療分野における人的評価手法の概要を概説し, 様々な医療分野におけるLCMの人的評価, 評価次元, サンプルタイプ, サイズ, 評価者の選択と採用, フレームワークとメトリクス, 評価プロセス, 結果の統計的分析について概説する。これらの研究で強調された多様な評価戦略から,情報品質,理解と推論,表現スタイルとペルソナ,安全とハーム,信頼と信頼という,人為的なLLM評価のための包括的で実践的な枠組みを提案する。本フレームワークは, 医療分野における人為的LCMの信頼性, 汎用性, 適用性の向上を目標とし, 明確な評価次元を定義し, 詳細なガイドラインを提供する。

関連論文リスト

ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性, Scoring Critera, Differentiating, User Experience, Responsible, Scalabilityの6つの柱からなる。
論文参考訳（メタデータ） (2024-05-28T22:45:28Z)
A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry [2.1717945745027425]
大規模言語モデル(LLM)は、言語理解と生成の高度な能力で様々な産業に影響を与えている。この包括的調査は、医療におけるLSMの広範な適用と必要な評価を概説する。本調査は,臨床環境,医療用テキストデータ処理,研究,教育,公衆衛生への意識といった分野におけるLCM応用の詳細な分析を行うために構成されている。
論文参考訳（メタデータ） (2024-04-24T09:55:24Z)
Towards Automatic Evaluation for LLMs' Clinical Capabilities: Metric, Data, and Algorithm [15.627870862369784]
大規模言語モデル (LLMs) は, 臨床診断の効率向上への関心が高まっている。臨床サービス提供におけるLCMの能力を評価するための自動評価パラダイムを提案する。
論文参考訳（メタデータ） (2024-03-25T06:17:54Z)
A Toolbox for Surfacing Health Equity Harms and Biases in Large Language Models [20.11590976578911]
大規模言語モデル(LLM)は、複雑な健康情報のニーズを満たすための大きな約束を持っている。 LLMは、有害性を導入し、健康格差を悪化させる可能性がある。エクイティ関連モデル失敗の信頼性評価は、ヘルスエクイティを促進するシステムを開発するための重要なステップである。
論文参考訳（メタデータ） (2024-03-18T17:56:37Z)
Collaborative Evaluation: Exploring the Synergy of Large Language Models and Humans for Open-ended Generation Evaluation [71.76872586182981]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
論文参考訳（メタデータ） (2023-10-30T17:04:35Z)
Foundation Metrics for Evaluating Effectiveness of Healthcare Conversations Powered by Generative AI [38.497288024393065]
ジェネレーティブ・人工知能(Generative Artificial Intelligence)は、従来の医療をよりパーソナライズされ、効率的で、積極的なプロセスに変えることで、医療提供に革命をもたらす。本稿では,医療における対話型対話モデルの評価に特に適用可能な最先端評価指標について検討する。
論文参考訳（メタデータ） (2023-09-21T19:36:48Z)
CValues: Measuring the Values of Chinese Large Language Models from Safety to Responsibility [62.74405775089802]
LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
論文参考訳（メタデータ） (2023-07-19T01:22:40Z)
A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文参考訳（メタデータ） (2023-07-06T16:28:35Z)
Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
論文参考訳（メタデータ） (2023-05-03T07:28:50Z)
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文参考訳（メタデータ） (2022-12-15T17:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。