論文の概要: MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
- arxiv url: http://arxiv.org/abs/2610.15714v1
- Date: Sun, 11 Oct 2026 15:57:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.239985
- Title: MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
- Title（参考訳）: MedHarnessBench: 医療エージェント評価のための統一ベンチマーク
- Abstract要約: 医療固有のプロセス次元を7つ評価する結果保存フレームワークであるメディカル・ハーネス・プロトコルを提示する。
我々はこのプロトコルをMedBenchとしてインスタンス化し、FHIR/EHR操作、医療管理インターフェース、マルチモーダル臨床ツールを含む342の実行可能なタスクを含む。
16,000以上のコントロールされたタスクの実行に対して、MedHarnessはターミナルタスクの成功、中間タスクの完了、医療固有のプロセス品質を広範囲に改善している。
- 参考スコア（独自算出の注目度）: 11.471685860193586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Healthcare agents must transform longitudinal clinical evidence into reliable actions through heterogeneous tools and stateful workflows, conditions under which model-centric systems may lose context, misuse tools, fail to verify consequential transitions, or cross authorization boundaries. Existing medical-agent benchmarks primarily emphasize terminal task outcomes, making it difficult to determine whether execution failures arise from the agent model, the runtime harness, or their interaction. We present the Medical Harness Protocol, an outcome-preserving framework that independently evaluates seven healthcare-specific process dimensions: Care Action Fulfillment, Clinical Resource Competence, Patient-Evidence Alignment, Clinical Workflow Continuity, Clinical Auditability, Closed-Loop Verification, and Clinical Conduct Boundaries. A normalized intervention trace further tracks whether runtime support is available, activated, delivered, adopted by the agent, and propagated into subsequent behavior. We instantiate the protocol as MedHarnessBench, comprising 342 executable tasks across FHIR/EHR operations, healthcare-administration interfaces, and multimodal clinical tools. Across more than 16,000 controlled task executions, MedHarness yields broad improvements in terminal task success, intermediate subtask completion, and healthcare-specific process quality. We further evaluate MedHarness against multiple general-purpose harnesses and use controlled single-fault perturbations to verify the sensitivity and discrimination of the seven-dimensional evaluation. These results demonstrate that healthcare-specific runtime support can substantially improve both task completion and execution quality, while revealing failures that terminal outcomes alone cannot capture. Code and resources are available at https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare.
- Abstract（参考訳）: 医療機関は、縦断的な臨床証拠を異質なツールやステートフルなワークフローを通じて信頼できる行動に変換する必要がある。
既存のメディカルエージェントベンチマークは、主にターミナルタスクの結果を強調しており、エージェントモデルやランタイムハーネス、あるいはそれらのインタラクションから実行障害が発生するかどうかを判断することは困難である。
ケアアクションフルフィルメント, 臨床リソースコンピテンス, 患者-エビデンスアライメント, 臨床作業継続性, 臨床聴取性, クローズド・ループ検証, 臨床行為境界の7つのプロセス次元を独立に評価する。
正常化された介入は、実行時サポートが利用可能か、アクティベート可能か、配信可能か、エージェントによって採用され、その後の動作に伝播しているかをさらに追跡する。
我々はこのプロトコルをMedHarnessBenchとしてインスタンス化し、FHIR/EHR操作、医療管理インターフェース、マルチモーダル臨床ツールで342の実行可能なタスクを含む。
16,000以上のコントロールされたタスクの実行に対して、MedHarnessはターミナルタスクの成功、中間タスクの完了、医療固有のプロセス品質を広範囲に改善している。
さらに,MedHarnessを複数の汎用ハーネスに対して評価し,制御されたシングルフォールト摂動を用いて7次元評価の感度と識別を検証する。
これらの結果は、医療固有のランタイムサポートがタスク完了と実行品質の両方を大幅に改善し、ターミナル結果だけでは達成できない障害を明らかにしている。
コードとリソースはhttps://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcareで入手できる。
関連論文リスト
- Toward Trustworthy Large Language Model Agents in Healthcare [0.6633201258809686]
CareConnectは、医療物流自動化のための安全第一の対話エージェントである。
このシステムは、予約予約、修正、キャンセル、施設情報検索をサポートする8つのドメイン固有のツールを編成する。
論文 参考訳（メタデータ） (2026-07-06T13:29:07Z) - MedCTA: A Benchmark for Clinical Tool Agents [47.47354499871572]
MedCTA(MedCTA)は,臨床医が有する段階的作業における医療ツールエージェントの評価のためのベンチマークである。
MedCTAは、実世界の107の臨床的タスクと、臨床者が検証した5つのデプロイツール以上の実行可能な軌道から構成される。
我々は18のオープンソースおよびクローズドソースマルチモーダルモデルをベンチマークし、フロンティアシステムでさえもマルチステップ臨床ツールの使用において脆弱であることを発見した。
論文 参考訳（メタデータ） (2026-06-10T06:26:52Z) - TheraAgent: Self-Improving Therapeutic Agent for Precise and Comprehensive Treatment Planning [13.420549615548872]
本稿では,ワンショット生成を反復生成・ジャッジ・リファインパイプラインに置き換えるエージェントフレームワークであるTheraAgentを提案する。
人間の専門家の実際の推論プロセスを反映することで、我々のフレームワークは、粗大で不完全なドラフトをより正確で包括的で安全なルールに変換します。
実験によると、TheraAgentはHealthBenchの最先端の結果を達成し、正確性と完全性をもたらす。
論文 参考訳（メタデータ） (2026-05-07T10:10:22Z) - PhysicianBench: Evaluating LLM Agents in Real-World EHR Environments [5.310457397170786]
既存の医療エージェントベンチマークは、主に静的な知識のリコール、単一ステップのアトミックアクション、環境に対する実行を検証せずにアクションインテントに焦点を当てている。
PhysicianBenchは、プライマリケアと医師の実際のケースから適応した100のロングホライゾンタスクで構成されている。
各タスクは構造化されたチェックポイント(ベンチマーク全体で合計670)に分解される。
最高のパフォーマンスモデルはわずか46%の成功率(pass@1)であり、オープンソースモデルは19%に達する。
論文 参考訳（メタデータ） (2026-05-04T05:32:25Z) - Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。
本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
論文 参考訳（メタデータ） (2026-01-11T02:20:40Z) - MedAI: Evaluating TxAgent's Therapeutic Agentic Reasoning in the NeurIPS CURE-Bench Competition [6.191248426050678]
臨床医学における治療的意思決定には、信頼できるバイオメディカル知識に基づく堅牢で多段階の推論が必要である。
TxAgentによって実証されたエージェントAI手法は、反復的検索強化生成(RAG)を通じてこれらの課題に対処する。
本研究はCURE-Bench NeurIPS 2025 Challengeへの参加から得られた知見を提示する。
論文 参考訳（メタデータ） (2025-12-12T16:01:48Z) - Beyond One-Time Validation: A Framework for Adaptive Validation of Prognostic and Diagnostic AI-based Medical Devices [55.319842359034546]
既存のアプローチは、これらのデバイスを実際にデプロイする際の複雑さに対処するのに不足することが多い。
提示されたフレームワークは、デプロイメント中に検証と微調整を繰り返すことの重要性を強調している。
現在の米国とEUの規制分野に位置づけられている。
論文 参考訳（メタデータ） (2024-09-07T11:13:52Z) - Deep Reinforcement Learning Empowered Activity-Aware Dynamic Health
Monitoring Systems [69.41229290253605]
既存のモニタリングアプローチは、医療機器が複数の健康指標を同時に追跡するという前提で設計されている。
これは、その範囲内で関連するすべての健康値を報告し、過剰なリソース使用と外部データの収集をもたらす可能性があることを意味します。
最適なモニタリング性能とコスト効率のバランスをとるための動的アクティビティ・アウェアヘルスモニタリング戦略(DActAHM)を提案する。
論文 参考訳（メタデータ） (2024-01-19T16:26:35Z) - Operationalizing Counterfactual Metrics: Incentives, Ranking, and
Information Asymmetry [62.53919624802853]
このような平均的な治療結果の指標から生じるインセンティブのずれを分析した。
本稿では,患者が対象とするランキングシステムにおいて,対物メトリクスを合理的に振る舞うように修正する方法を示す。
論文 参考訳（メタデータ） (2023-05-24T00:24:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。