論文の概要: A Framework for Human Evaluation of Large Language Models in Healthcare Derived from Literature Review
- arxiv url: http://arxiv.org/abs/2405.02559v2
- Date: Mon, 23 Sep 2024 18:00:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 02:52:29.933913
- Title: A Framework for Human Evaluation of Large Language Models in Healthcare Derived from Literature Review
- Title（参考訳）: 文献レビューから得られた医療における大規模言語モデルの人的評価のための枠組み
- Authors: Thomas Yu Chow Tam, Sonish Sivarajkumar, Sumit Kapoor, Alisa V Stolyar, Katelyn Polanska, Karleigh R McCarthy, Hunter Osterhoudt, Xizhi Wu, Shyam Visweswaran, Sunyang Fu, Piyush Mathur, Giovanni E. Cacciamani, Cong Sun, Yifan Peng, Yanshan Wang,
- Abstract要約: 我々は、標準化された一貫した人間評価アプローチに対する顕著なニーズを強調します。
大規模言語モデル(LLM)の人間評価のための包括的で実践的な枠組みを提案する。
このフレームワークは、異なる医療アプリケーションにおけるLCMの信頼性、一般化可能性、適用性を改善することを目的としている。
- 参考スコア（独自算出の注目度）: 11.28580626017631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With generative artificial intelligence (AI), particularly large language models (LLMs), continuing to make inroads in healthcare, it is critical to supplement traditional automated evaluations with human evaluations. Understanding and evaluating the output of LLMs is essential to assuring safety, reliability, and effectiveness. However, human evaluation's cumbersome, time-consuming, and non-standardized nature presents significant obstacles to comprehensive evaluation and widespread adoption of LLMs in practice. This study reviews existing literature on human evaluation methodologies for LLMs in healthcare. We highlight a notable need for a standardized and consistent human evaluation approach. Our extensive literature search, adhering to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) guidelines, includes publications from January 2018 to February 2024. The review examines the human evaluation of LLMs across various medical specialties, addressing factors such as evaluation dimensions, sample types and sizes, selection, and recruitment of evaluators, frameworks and metrics, evaluation process, and statistical analysis type. Drawing on the diverse evaluation strategies employed in these studies, we propose a comprehensive and practical framework for human evaluation of LLMs: QUEST: Quality of Information, Understanding and Reasoning, Expression Style and Persona, Safety and Harm, and Trust and Confidence. This framework aims to improve the reliability, generalizability, and applicability of human evaluation of LLMs in different healthcare applications by defining clear evaluation dimensions and offering detailed guidelines.
- Abstract（参考訳）: 生成的人工知能(AI)、特に大規模言語モデル(LLM)が医療分野に進出し続けており、従来の自動評価を人間の評価で補うことが重要である。
LLMのアウトプットの理解と評価は,安全性,信頼性,有効性の確保に不可欠である。
しかし, 人体評価の煩雑さ, 時間のかかる, 標準化されていない性質は, LLMの総合的な評価や普及に重大な障害をもたらす。
本研究は、医療におけるLSMの人的評価手法に関する既存の文献をレビューする。
我々は、標準化された一貫した人間評価アプローチに対する顕著なニーズを強調します。
The Preferred Reporting Items for Systematic Reviews and Meta-Analyses(PRISMA)ガイドラインに準拠した文献検索には,2018年1月から2024年2月までの論文が含まれている。
本総説では, 各種医療専門分野におけるLCMの人為的評価, 評価次元, サンプルタイプ, サイズ, 選定, 評価者, フレームワーク, メトリクス, 評価プロセス, 統計分析タイプなどの要因について検討する。
本研究で採用されている多種多様な評価戦略に基づき, 情報品質, 理解と推論, 表現スタイルとペルソナ, 安全とハーム, 信頼と信頼の総合的, 実践的枠組みを提案する。
本フレームワークは, 医療分野でのLCMの信頼性, 汎用性, 適用性の向上を目標とし, 明確な評価次元を定義し, 詳細なガイドラインを提供する。
関連論文リスト
- Optimizing the role of human evaluation in LLM-based spoken document summarization systems [0.0]
生成AIコンテンツに適した音声文書要約のための評価パラダイムを提案する。
実験設計における堅牢性, 再現性, 信頼性を確保するために, 詳細な評価基準とベストプラクティスガイドラインを提供する。
論文 参考訳（メタデータ） (2024-10-23T18:37:14Z) - A Survey on Evaluation of Multimodal Large Language Models [11.572066870077888]
マルチモーダル大規模言語モデル(MLLM)は、強力な大規模言語モデル(LLM)を統合することで、人間の知覚と推論システムを模倣する
この枠組みはMLLMに人間のような能力を与え、人工知能(AGI)の実現への潜在的経路を示唆している。
GPT-4V や Gemini のような全周MLLM の出現に伴い,様々な次元にわたってその能力を評価するための評価手法が開発されている。
論文 参考訳（メタデータ） (2024-08-28T13:05:55Z) - A Proposed S.C.O.R.E. Evaluation Framework for Large Language Models : Safety, Consensus, Objectivity, Reproducibility and Explainability [5.924966178563408]
大規模言語モデル(LLM)の評価のための5つの重要な側面を提案する。
我々はS.C.O.R.E.が将来のLCMモデル評価フレームワークの基礎となることを示唆する。
論文 参考訳（メタデータ） (2024-07-10T13:45:16Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳（メタデータ） (2024-05-28T22:45:28Z) - A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry [2.1717945745027425]
大規模言語モデル(LLM)は、言語理解と生成の高度な能力で様々な産業に影響を与えている。
この包括的調査は、医療におけるLSMの広範な適用と必要な評価を概説する。
本調査は,臨床環境,医療用テキストデータ処理,研究,教育,公衆衛生への意識といった分野におけるLCM応用の詳細な分析を行うために構成されている。
論文 参考訳（メタデータ） (2024-04-24T09:55:24Z) - Towards Automatic Evaluation for LLMs' Clinical Capabilities: Metric, Data, and Algorithm [15.627870862369784]
大規模言語モデル (LLMs) は, 臨床診断の効率向上への関心が高まっている。
臨床サービス提供におけるLCMの能力を評価するための自動評価パラダイムを提案する。
論文 参考訳（メタデータ） (2024-03-25T06:17:54Z) - Collaborative Evaluation: Exploring the Synergy of Large Language Models
and Humans for Open-ended Generation Evaluation [71.76872586182981]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。
本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
論文 参考訳（メタデータ） (2023-10-30T17:04:35Z) - CValues: Measuring the Values of Chinese Large Language Models from
Safety to Responsibility [62.74405775089802]
LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。
その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。
以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
論文 参考訳（メタデータ） (2023-07-19T01:22:40Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳（メタデータ） (2023-07-06T16:28:35Z) - Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。
LLM評価の結果は、専門家による評価の結果と一致していることを示す。
論文 参考訳（メタデータ） (2023-05-03T07:28:50Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。