論文の概要: Towards Multi-Method Evaluation of AI in Health: Integrating Benchmarks, Autoraters, and Expert Evaluation
- arxiv url: http://arxiv.org/abs/2611.05127v2
- Date: Wed, 04 Nov 2026 18:33:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.786352
- Title: Towards Multi-Method Evaluation of AI in Health: Integrating Benchmarks, Autoraters, and Expert Evaluation
- Title（参考訳）: 健康におけるAIのマルチメソッド評価に向けて:ベンチマーク、オートレーダ、エキスパート評価の統合
- Abstract要約: 汎用生成AI(GenAI)モデルは、医療において急速に採用されている。
これらの概念的、方法論的、実践的な課題は、臨床医と医療システムの品質と安全性を評価するのに数十年を要した。
本稿では,新しい技術アプローチと組み合わせたいくつかの分野からの手法を,構造化されたマルチメソッド評価フレームワークに適応させることについて述べる。
- 参考スコア（独自算出の注目度）: 5.824483005975913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose generative AI (GenAI) models are being rapidly adopted in healthcare, but they are challenging to assess with traditional evaluation frameworks. These conceptual, methodological, and practical challenges parallel decades of work in evaluating clinician and health system quality and safety. We describe the adaptation of methods from several fields, combined with emerging technical approaches, into a structured, multi-method evaluation framework designed to give well-rounded assessments of GenAI in health at scale. The approach first anchors evaluation to Critical User Journeys (CUJs) to help prioritize out of a large choice space, and maps these to a phased AI system lifecycle (base model development, product development, and post-deployment monitoring), since evaluation at each stage requires different methodological approaches. In this context, the approach then integrates three distinct evaluation methods (closed-question benchmarks, LLM-as-a-judge autoraters, and expert human review) across three core domains: accuracy, safety, and usefulness. Taken together, this approach provides a strategic framework for bridging the gap between benchmarking results and performance in the real world with the goal of supporting decision-making and accountability across development, procurement, and deployment for product teams, health systems, and regulators.
- Abstract（参考訳）: 汎用生成AI(GenAI)モデルは、医療において急速に採用されているが、従来の評価フレームワークによる評価は難しい。
これらの概念的、方法論的、実践的な課題は、臨床医と医療システムの品質と安全性を評価するのに数十年を要した。
本稿では,いくつかの分野からの手法の適応と新たな技術アプローチを組み合わさって,GenAIの大規模健康評価を包括的に行うための,構造化されたマルチメソッド評価フレームワークについて述べる。
このアプローチはまず、重要なユーザジャーニー(CUJ)の評価を定着させ、大きな選択スペースの優先順位付けを支援し、それらをフェーズ化されたAIシステムライフサイクル(ベースモデル開発、製品開発、デプロイ後の監視)にマッピングする。
この文脈では、アプローチは3つの異なる評価手法(クローズドクエストベンチマーク、LCM-as-a-judge autoraters、エキスパートヒューマンレビュー)を3つの中核ドメイン(正確性、安全性、有用性)に集約する。
このアプローチは、製品チーム、健康システム、規制当局のための開発、調達、デプロイメントにおける意思決定と説明責任をサポートすることを目的として、実際の世界でのベンチマーク結果とパフォーマンスのギャップを埋めるための戦略的フレームワークを提供する。
関連論文リスト
- Autonomous Information Seeking: A Roadmap for Agentic Recommender Systems [64.88044474617854]
大規模言語モデルベースのエージェントをリコメンダシステムに迅速に統合することで、静的なランキングベースのパイプラインから、自律的でインタラクティブなシステムへのシフトが加速した。
この調査では、自律性のレベルとエージェントレコメンデータシステムの3つのコアパラダイムを基盤とした統合された分類法を紹介した。
論文 参考訳（メタデータ） (2026-07-05T17:55:05Z) - Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation [80.99003754614365]
統一マルチモーダルモデルにおける共同理解と生成を評価するためのベンチマークであるUnisonを紹介する。
Unisonは2,169の高品質な統合タスクサンプルで構成されている。
また,人間の判断に適合した評価モデルであるUnison-Judgeを紹介する。
論文 参考訳（メタデータ） (2026-06-25T12:58:54Z) - Responsible Evaluation of AI for Mental Health [72.85175110624736]
メンタルヘルスケアにおけるAIツールの評価に対する現在のアプローチは、断片化されており、臨床実践、社会的コンテキスト、ファーストハンドのユーザエクスペリエンスと不整合である。
本稿では,臨床の健全性,社会的文脈,公平性を統合した学際的枠組みを導入することにより,責任ある評価を再考する。
論文 参考訳（メタデータ） (2026-01-20T12:55:10Z) - A Comprehensive Evaluation framework of Alignment Techniques for LLMs [5.9090038202345]
本稿では,大規模言語モデル(LLM)におけるアライメント手法の多次元評価を提案する。
本フレームワークは、アライメント検出、アライメント品質、計算効率、ロバストネスの4つの重要な側面に沿ってメソッドを評価する。
論文 参考訳（メタデータ） (2025-08-13T16:42:01Z) - Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。
本稿は、この新興分野に関する最初の体系的なレビューを提供する。
本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
論文 参考訳（メタデータ） (2025-08-01T14:41:31Z) - A Conceptual Framework for AI Capability Evaluations [0.0]
本稿では,AI能力評価を解析するための概念的枠組みを提案する。
広く使われている手法や用語の分析を体系化する構造化された記述的アプローチを提供する。
また、研究者は方法論的な弱点を特定し、評価を設計する実践者を支援し、政策立案者に複雑な評価の風景を精査し、比較し、ナビゲートするツールを提供する。
論文 参考訳（メタデータ） (2025-06-23T00:19:27Z) - A Systematic Review of User-Centred Evaluation of Explainable AI in Healthcare [1.57531613028502]
本研究の目的は、医療におけるXAIのユーザエクスペリエンスを特徴付ける、明確に定義された原子特性の枠組みを開発することである。
また,システム特性に基づいて評価戦略を定義するための文脈に敏感なガイドラインも提供する。
論文 参考訳（メタデータ） (2025-06-16T18:30:00Z) - POGEMA: A Benchmark Platform for Cooperative Multi-Agent Pathfinding [76.67608003501479]
POGEMAは、学習のための高速環境、問題インスタンスジェネレータ、可視化ツールキットを含む、総合的なツールセットである。
また、プライマリ評価指標に基づいて計算されるドメイン関連メトリクスの範囲を規定する評価プロトコルを導入し、定義する。
この比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含む。
論文 参考訳（メタデータ） (2024-07-20T16:37:21Z) - Evaluating Human-AI Collaboration: A Review and Methodological Framework [4.41358655687435]
人間-AIコラボレーション(Human-AI Collaboration、HAIC)として知られる個人との作業環境における人工知能(AI)の利用が不可欠である。
HAICの有効性を評価することは、関連するコンポーネントの複雑な相互作用のため、依然として困難である。
本稿では,既存のHAIC評価手法を詳細に分析し,これらのシステムをより効果的に評価するための新しいパラダイムを開発する。
論文 参考訳（メタデータ） (2024-07-09T12:52:22Z) - Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。
世界中から約1200チームが参加した。
トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
論文 参考訳（メタデータ） (2024-06-13T12:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。