論文の概要: A primer on evaluation methods for large language models in healthcare

• arxiv url: http://arxiv.org/abs/2609.14819v2
• Date: Thu, 17 Sep 2026 21:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.683319
• Title: A primer on evaluation methods for large language models in healthcare
• Title（参考訳）: 医療における大規模言語モデルの評価手法に関する研究
• Abstract要約: 大規模言語モデル(LLM)は、医学における応用範囲が拡大しており、その評価は、それらが利益を提供し、害を与えないことを保証するために重要である。 本総説では, 研究設計の原則, 統計的手法, 能力評価, 臨床コンテキスト評価の4つの分野について概説する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have a growing range of applications in medicine, and their evaluation is critical for ensuring they provide benefit and not harm. This evaluation can be more challenging than traditional machine learning for many reasons, including probabilistic and open-ended outputs, and behavior that shifts with prompt design and accumulated context. This review covers four key areas of LLM evaluation: principles of study design, statistical methods, capability evaluation and clinical context evaluation. Capability evaluation considers different benchmarks, including multiple-choice, agentic and multi-turn benchmarks, alongside operational metrics like token usage. Clinical context evaluation addresses establishing accuracy of free text outputs, such as human review and LLM-as-a-judge, and clinical trial approaches. Across sections, we describe underlying concepts and potential pitfalls, while emphasizing the importance of aligning evaluation methods with the research question. Together, this article aims to provide a pragmatic basis for designing and executing rigorous evaluations of healthcare LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は医療分野での応用範囲が拡大しており、それらの評価は、それらが利益を提供し、害を与えないことを保証するために重要である。 この評価は、確率的かつオープンなアウトプットや、迅速な設計と蓄積されたコンテキストで変化する振る舞いなど、多くの理由から、従来の機械学習よりも難しい場合がある。 本総説では, 研究設計の原則, 統計的手法, 能力評価, 臨床コンテキスト評価の4つの分野について概説する。 機能評価では、トークン使用率などの運用メトリクスに加えて、マルチ選択、エージェント、マルチターンベンチマークなど、さまざまなベンチマークが検討されている。 臨床コンテキスト評価は、人間のレビューやLSM-as-a-judgeなどのフリーテキスト出力の精度を確立すること、および臨床試験アプローチに対処する。 本項では,本研究の課題と評価手法の整合性の重要性を強調しながら,基礎となる概念と潜在的な落とし穴について述べる。 本稿では,医療用LLMの厳密な評価を設計・実行するための実用的基盤を提供することを目的とする。

関連論文リスト

• Position: Thematic Analysis of Unstructured Clinical Transcripts with Large Language Models [5.398283020969301]
  LLM(Large Language Model)は、構造化されていない臨床転写のセマンティック解析をサポートする。 既存の評価方法は大きく異なり、進歩を妨げ、研究全体で有意義なベンチマークを防ぐ。 本稿では,妥当性,信頼性,解釈可能性の3つの側面に着目した評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T04:02:00Z)
• The Scales of Justitia: A Comprehensive Survey on Safety Evaluation of LLMs [57.1838332916627]
  大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な能力を示している。 広範囲に展開したことにより、大きな安全上の懸念がもたらされた。 LLMの生成したコンテンツは、特に敵の文脈において、毒性、偏見、誤情報などの安全でない振る舞いを示す。
  論文  参考訳（メタデータ） (2025-06-06T05:50:50Z)
• Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
  医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。 現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。 我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
  論文  参考訳（メタデータ） (2025-04-21T16:51:11Z)
• Large Language Models for Outpatient Referral: Problem Definition, Benchmarking and Challenges [34.10494503049667]
  大規模言語モデル(LLM)は、医療システム全体にわたる外来の紹介業務にますます適用されている。 有効性を評価するための標準化された評価基準が欠如している。 このようなシステムに特化して設計された包括的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-11T11:05:42Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications [2.838746648891565]
  臨床能力の5つの重要な側面にまたがって,大規模言語モデル(LLM)を評価するフレームワークであるMEDICを紹介する。 医療質問応答,安全性,要約,メモ生成,その他のタスクにおいて,MDDICを用いてLCMを評価する。 その結果, モデルサイズ, ベースライン, 医療用微調整モデル間の性能差が示され, 特定のモデル強度を必要とするアプリケーションに対して, モデル選択に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2024-09-11T14:44:51Z)
• A Framework for Human Evaluation of Large Language Models in Healthcare Derived from Literature Review [11.28580626017631]
  我々は、標準化された一貫した人間評価アプローチに対する顕著なニーズを強調します。 大規模言語モデル(LLM)の人間評価のための包括的で実践的な枠組みを提案する。 このフレームワークは、異なる医療アプリケーションにおけるLCMの信頼性、一般化可能性、適用性を改善することを目的としている。
  論文  参考訳（メタデータ） (2024-05-04T04:16:07Z)
• Does Biomedical Training Lead to Better Medical Performance? [7.341724934479004]
  大規模言語モデル(LLM)は、患者のケア、診断、管理プロセスに大きく貢献することが期待されている。 本研究では, バイオメディカルトレーニングが6つの実践的医療課題の文脈に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-04-05T12:51:37Z)
• Towards Automatic Evaluation for LLMs' Clinical Capabilities: Metric, Data, and Algorithm [15.627870862369784]
  大規模言語モデル (LLMs) は, 臨床診断の効率向上への関心が高まっている。 臨床サービス提供におけるLCMの能力を評価するための自動評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-25T06:17:54Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。