論文の概要: HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents
- arxiv url: http://arxiv.org/abs/2606.31179v1
- Date: Tue, 30 Jun 2026 06:09:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.093244
- Title: HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents
- Title（参考訳）: HealthAgentBench:フロンティアAIエージェントを満たすための現実的なエージェントヘルスケア環境のベンチマークスイート
- Abstract要約: HealthAgentBenchは7つのカテゴリにまたがる54のエージェント医療タスクスイートで、それぞれ独自の環境を備えている。
各タスクは、エンドツーエンドの臨床ワークフローを複製するように設計されている。
全体的なタスク成功率は低いままであり、スイートの難しさを暗示している。
- 参考スコア（独自算出の注目度）: 27.00578410987845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.
- Abstract（参考訳）: AIエージェントはますます複雑で長期の推論能力を持つようになり、厳格で全体的な評価は、現実の医療アプリケーションへの進歩を測定する上で不可欠である。
HealthAgentBenchは7つのカテゴリにまたがる54のエージェント医療タスクスイートで,それぞれ独自の環境を備えている。
ベンチマークスイートは、患者ジャーニー全体にわたるさまざまなワークフローと、幅広いモダリティにまたがる。
各タスクは、エンド・ツー・エンドの臨床ワークフローを複製するように設計されている。最小限の指示が与えられた場合、エージェントは生の医療データを探索し、複雑な環境で運用し、素早いプロンプトを超えるマルチステップのソリューションを実行する必要がある。
最終タスク成功率は、各エージェントのHealthAgentBench全体のパフォーマンスに対して、単一の解釈可能なメトリックを提供すると報告されている。
HealthAgentBench上でのフロンティアエージェントの評価では、全体的なタスク成功率は低いままであり、スイートの難しさを裏付けている。
最も強力で最もコストのかかる剤、Codex GPT-5.5は、わずか42%の成功率しか達成していない。
HealthAgentBenchは、総合的なパフォーマンス以外に、タスクカテゴリ間の微妙な長所と短所を明らかにしている。
最前線のエージェントは、EHRデータによる研究のモデリングパイプラインを自動開発することを約束するが、医療画像は特にクロードコードモデルでは特に困難であり、Codex GPT-5.5は新たな能力を示している。
大規模な探索空間と構成的推論要求を組み合わせたタスクは、現在のすべてのエージェントにとって難しいままである。
これらの結果は、HealthAgentBenchが挑戦的で現実的なベンチマークを提供し、将来的な進歩の余地があることを示唆している。
ベンチマークはhttps://github.com/microsoft/HealthAgentBench.comで公開しています。
関連論文リスト
- The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - WideSearch: Benchmarking Agentic Broad Info-Seeking [26.110175228335894]
大規模コレクションタスクにおいてエージェントの信頼性を評価するために設計された新しいベンチマークであるWideSearchを紹介する。
ベンチマークでは、実際のユーザクエリに基づいて、15以上のさまざまなドメインから200の質問を手作業でキュレートする。
我々は、シングルエージェント、マルチエージェントフレームワーク、エンドツーエンドの商用システムを含む、10以上の最先端のエージェント検索システムをベンチマークする。
論文 参考訳（メタデータ） (2025-08-11T14:03:09Z) - R&D-Agent: An LLM-Agent Framework Towards Autonomous Data Science [70.1638335489284]
高レベルの機械学習エンジニアリングタスクは、労働集約的で反復的である。
機械学習プロセスを形式化する包括的で分離されたフレームワークであるR&D-Agentを紹介します。
R&D-AgentはMLEを2つのフェーズと6つのコンポーネントに定義し、MLEのエージェント設計を原則としてテスト可能なプロセスに変える。
論文 参考訳（メタデータ） (2025-05-20T06:07:00Z) - MedAgentBoard: Benchmarking Multi-Agent Collaboration with Conventional Methods for Diverse Medical Tasks [27.717720332927296]
我々はMedAgentBoardを紹介する。MedAgentBoardは、マルチエージェントコラボレーション、シングルLLM、および従来のアプローチの体系的評価のための総合的なベンチマークである。
MedAgentBoardには、医療(視覚)質問応答、レイサマリ生成、構造化電子健康記録(EHR)予測モデリング、臨床ワークフロー自動化の4つの多様な医療タスクカテゴリが含まれている。
マルチエージェントコラボレーションは特定のシナリオにおいてメリットを示すが、高度な単一LLMを一貫して上回るものではない。
論文 参考訳（メタデータ） (2025-05-18T11:28:17Z) - MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents [20.96732566767587]
最近の大規模言語モデル(LLM)は、特にエージェントとして機能する能力において顕著な進歩を見せている。
MedAgentBenchは、医療記録コンテキストにおける大規模言語モデルのエージェント能力を評価するために設計された幅広い評価スイートである。
環境は、現代のEMRシステムで使用される標準的なAPIと通信インフラを使用するため、ライブのEMRシステムに容易に移行できる。
論文 参考訳（メタデータ） (2025-01-24T17:21:01Z) - SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。
We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
論文 参考訳（メタデータ） (2024-10-19T17:28:48Z) - AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。
我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。
我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
論文 参考訳（メタデータ） (2024-06-06T15:15:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。