論文の概要: A Scalable Framework for Evaluating Health Language Models

• arxiv url: http://arxiv.org/abs/2503.23339v2
• Date: Tue, 01 Apr 2025 21:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 09:56:38.598097
• Title: A Scalable Framework for Evaluating Health Language Models
• Title（参考訳）: 健康言語モデルを評価するためのスケーラブルなフレームワーク
• Authors: Neil Mallinar, A. Ali Heydari, Xin Liu, Anthony Z. Faranesh, Brent Winslow, Nova Hammerquist, Benjamin Graef, Cathy Speed, Mark Malhotra, Shwetak Patel, Javier L. Prieto, Daniel McDuff, Ahmed A. Metwally,
• Abstract要約: 大規模言語モデル(LLM)は、複雑なデータセットを分析する強力なツールとして登場した。 オープンエンドテキスト応答の現在の評価実践は、人間の専門家に大きく依存している。 この研究はAdaptive Precise Boolean rubrics(リンク)を紹介している。
• 参考スコア（独自算出の注目度）: 16.253655494186905
• License:
• Abstract: Large language models (LLMs) have emerged as powerful tools for analyzing complex datasets. Recent studies demonstrate their potential to generate useful, personalized responses when provided with patient-specific health information that encompasses lifestyle, biomarkers, and context. As LLM-driven health applications are increasingly adopted, rigorous and efficient one-sided evaluation methodologies are crucial to ensure response quality across multiple dimensions, including accuracy, personalization and safety. Current evaluation practices for open-ended text responses heavily rely on human experts. This approach introduces human factors and is often cost-prohibitive, labor-intensive, and hinders scalability, especially in complex domains like healthcare where response assessment necessitates domain expertise and considers multifaceted patient data. In this work, we introduce Adaptive Precise Boolean rubrics: an evaluation framework that streamlines human and automated evaluation of open-ended questions by identifying gaps in model responses using a minimal set of targeted rubrics questions. Our approach is based on recent work in more general evaluation settings that contrasts a smaller set of complex evaluation targets with a larger set of more precise, granular targets answerable with simple boolean responses. We validate this approach in metabolic health, a domain encompassing diabetes, cardiovascular disease, and obesity. Our results demonstrate that Adaptive Precise Boolean rubrics yield higher inter-rater agreement among expert and non-expert human evaluators, and in automated assessments, compared to traditional Likert scales, while requiring approximately half the evaluation time of Likert-based methods. This enhanced efficiency, particularly in automated evaluation and non-expert contributions, paves the way for more extensive and cost-effective evaluation of LLMs in health.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なデータセットを分析する強力なツールとして登場した。 近年の研究は、ライフスタイル、バイオマーカー、コンテキストを含む患者固有の健康情報を提供する際に、有用でパーソナライズされた応答を生成する可能性を示している。 LLMによる健康応用がますます普及するにつれて、正確性、パーソナライゼーション、安全性など、複数の次元にわたる応答品質を確保するために、厳密で効率的な片側評価手法が不可欠である。 オープンエンドテキスト応答の現在の評価実践は、人間の専門家に大きく依存している。 このアプローチは、人的要因を導入し、コストを抑え、労働集約的であり、スケーラビリティを妨げることが多い。特に、レスポンスアセスメントがドメインの専門知識を必要とし、多面的な患者データを考える、医療のような複雑な領域において。 そこで本研究では,対象とするルーリックの最小限の集合を用いて,モデル応答のギャップを識別することにより,人的および自動的なオープンエンド質問評価を効率化する評価フレームワークであるAdaptive Precise Boolean rubricsを紹介する。 我々のアプローチは、より複雑な評価対象の小さなセットと、単純なブール応答で答えられるより精密で粒度の細かいターゲットのセットとを対比する、より一般的な評価設定における最近の研究に基づいている。 糖尿病, 心血管疾患, 肥満を包含する領域であるメタボリックヘルスにおいて, このアプローチを検証した。 以上の結果から,アダプティブ・プレシデンス・ブール・ルーブリックは,専門家と非専門家の間で,従来型のクアルト尺度と比較して,レータ間合意を高くし,かつ自動評価において,クアルト法による評価の約半分を要した。 この効率の向上、特に自動評価と非専門的貢献は、健康におけるLSMのより広範囲で費用対効果の高い評価の道を開く。

関連論文リスト

• Hierarchical Divide-and-Conquer for Fine-Grained Alignment in LLM-Based Medical Evaluation [31.061600616994145]
  HDCEvalは、専門医とのコラボレーションによって開発された、きめ細かい医療評価ガイドラインに基づいて構築されている。 このフレームワークは複雑な評価タスクを専門的なサブタスクに分解し、それぞれがエキスパートモデルによって評価される。 この階層的なアプローチは、評価の各側面が専門家の精度で扱われることを保証する。
  論文  参考訳（メタデータ） (2025-01-12T07:30:49Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Towards Leveraging Large Language Models for Automated Medical Q&A Evaluation [2.7379431425414693]
  本稿では,大規模言語モデル(LLM)を用いて,Q&Aシステムにおける応答評価を自動化する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-03T14:38:29Z)
• Building Trust in Mental Health Chatbots: Safety Metrics and LLM-Based Evaluation Tools [13.386012271835039]
  100のベンチマーク質問と理想的な回答を備えた評価フレームワークを作成しました。 このフレームワークはメンタルヘルスの専門家によって検証され、GPT-3.5ベースのチャットボットでテストされた。
  論文  参考訳（メタデータ） (2024-08-03T19:57:49Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• Foundation Metrics for Evaluating Effectiveness of Healthcare Conversations Powered by Generative AI [38.497288024393065]
  ジェネレーティブ・人工知能(Generative Artificial Intelligence)は、従来の医療をよりパーソナライズされ、効率的で、積極的なプロセスに変えることで、医療提供に革命をもたらす。 本稿では,医療における対話型対話モデルの評価に特に適用可能な最先端評価指標について検討する。
  論文  参考訳（メタデータ） (2023-09-21T19:36:48Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。