論文の概要: PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents
- arxiv url: http://arxiv.org/abs/2607.25485v1
- Date: Tue, 28 Jul 2026 09:24:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.783665
- Title: PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents
- Title（参考訳）: patientAgentBench: 患者対応型ヘルスAIエージェントの評価のためのベンチマークフレームワーク
- Abstract要約: patientAgentBenchは、患者が直面するエージェント医療をベンチマークする。
シミュレーションされた患者と会話しながら、医療ツールのサンドボックスでエージェントにラップされた基礎モデルを評価する。
同じ1200のシナリオで、同じ4つのファミリーで10のモデルをベンチマークし、臨床的なギャップを見つけました。
- 参考スコア（独自算出の注目度）: 5.247635961504091
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Health AI is evolving from answering questions to agentic systems that converse with patients, reason about health records, and act on their behalf. Primary care guards against diagnostic errors and unsafe care; agents assisting in this domain warrant evaluation against the same risks. Current benchmarks focus on medical knowledge, assessed through isolated question-answering or clinician-facing tasks. PatientAgentBench benchmarks patient-facing agentic healthcare; it evaluates a foundation model, wrapped in an agent with a sandbox of healthcare tools, conversing with a simulated patient. Each conversation is scored by an LLM-as-a-Jury across six dimensions via over a hundred conversation-agnostic, clinician-grounded criteria. To validate alignment, licensed clinicians annotated shared conversations, yielding 79-93% adjacent agreement between jury and expert raters, on par with or exceeding clinician inter-rater agreement. We benchmarked 10 models across four families on the same 1,200 scenarios and found clinical gaps. Triage quality is the most discriminating dimension: pass rates rise from 32% for the weakest models to 88% for the strongest, with agents often acting on administrative requests without clinical screening. Clinical safety and workflow accuracy follow the same pattern: the weakest models fail often, fabricating unexecuted actions, while frontier models fail on only 1-3% of cases, from unverified tool outputs and omitted crisis resources in an emergency. More capable models narrow these gaps but do not close them; the strongest scores only 4.25 of 5 overall. These failures surface only in sustained, tool-using conversations against realistic patient records, confirming that static benchmarks are insufficient as healthcare agentic systems gain autonomy. We release the framework as a reproducible, clinician-validated evaluation standard to help the field close this gap.
- Abstract（参考訳）: 健康AIは、質問に答えることから、患者と会話し、健康記録を判断し、彼らの代理として行動するエージェントシステムへと進化している。
プライマリ・ケアガードは、診断ミスや安全でないケアを防ぎ、同じリスクに対するこのドメインの保証評価を支援するエージェントである。
現在のベンチマークでは、独立した質問回答や臨床医向けのタスクを通じて評価される医療知識に焦点が当てられている。
patientAgentBenchは、患者が直面するエージェント医療をベンチマークし、基礎モデルを評価し、医療ツールのサンドボックスにラップされ、シミュレーションされた患者と会話する。
各会話は6次元のLDM-as-a-Juryによって、100以上の会話に依存しない臨床的基準によってスコア付けされる。
アライメントを検証するために、認可された臨床医は共有会話に注釈を付け、陪審員と専門家のレイカーの間で79-93%の隣接した合意を得た。
同じ1200のシナリオで、同じ4つのファミリーで10のモデルをベンチマークし、臨床的なギャップを見つけました。
最も弱いモデルではパスレートが32%から最も低いモデルでは88%に上昇し、しばしば臨床検査なしで管理要求に反応する。
最も弱いモデルは頻繁に失敗し、実行されていないアクションを作成し、フロンティアモデルは検証されていないツール出力と緊急時の危機リソースの省略からわずか1～3%のケースで失敗する。
より有能なモデルはこれらのギャップを狭めるが、それを閉じることはない。
これらの失敗は、現実的な患者の記録に対するツールを使った会話でのみ表面化し、医療エージェントシステムが自律性を得るにつれて静的なベンチマークが不十分であることを確認した。
我々は,このギャップを埋めるために,再現性のある臨床検査基準としてフレームワークをリリースする。
関連論文リスト
- ResidencyRL: Reinforcement Learning in Simulated Clinical Environments [53.76751756107077]
臨床人工知能(AI)エージェントを模擬多ターン臨床で訓練するための強化学習(RL)手法であるResidencyRLを提案する。
ホールドアウト評価では、ResidencyRLエージェントは、対向条件下で診断精度を7.0%向上させる。
盲目の専門医はこれらの利得を検証し、訓練されたエージェントをサイドバイサイド比較の87.6%で好んだ。
論文 参考訳（メタデータ） (2026-08-07T17:04:41Z) - AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows [7.354281305130301]
大規模言語モデル (LLM) は, 臨床相談業務での使用を想定している。
本稿では,ALMの臨床的有用性を評価するための評価フレームワークであるAIPatient Arenaを提案する。
論文 参考訳（メタデータ） (2026-06-16T03:35:17Z) - AcuityBench: Evaluating Clinical Acuity Identification and Uncertainty Alignment [3.1849948640573245]
AcuityBenchは、言語モデルがユーザの医療プレゼンテーションから適切なケアの緊急性を特定するかどうかを評価するためのベンチマークである。
ユーザ会話、オンラインフォーラム投稿、臨床ヴィグネット、患者のポータルメッセージにまたがる5つの公開データセットで構成されている。
QA設定での明示的な4方向分類と、ルーリックベースの判定器で評価された自由形式の会話応答の2つの補完的なタスク形式をサポートする。
論文 参考訳（メタデータ） (2026-05-12T01:39:46Z) - VeriSim: A Configurable Framework for Evaluating Medical AI Under Realistic Patient Noise [2.997608017642323]
真理を保存する患者シミュレーションフレームワークであるVeriSimを紹介する。
本フレームワークは,患者の反応にコントロール可能な,臨床的に根拠のあるノイズを注入する。
我々の研究結果は、現在の医療AIにおけるSim-to-Realギャップを浮き彫りにしている。
論文 参考訳（メタデータ） (2026-04-12T03:35:22Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。
構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。
Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
論文 参考訳（メタデータ） (2026-03-23T05:46:45Z) - From Days to Minutes: An Autonomous AI Agent Achieves Reliable Clinical Triage in Remote Patient Monitoring [2.0918370570198763]
遠隔患者モニタリング(RPM)は膨大なデータを生成するが、データ量が臨床スタッフを圧倒したため、目覚ましい臨床試験(Tele-HF, BEAT-HF)は失敗した。
RPMバイタルのコンテキストトリアージにモデルコンテキストプロトコル(MCP)を用いた自律型AIエージェントSentinelを開発した。
論文 参考訳（メタデータ） (2026-03-10T00:50:54Z) - ART: Action-based Reasoning Task Benchmarking for Medical AI Agents [0.0]
本稿では,医療AIエージェントのためのアクションベース推論臨床タスクベンチマークを紹介する。
検索エラー、集約エラー、条件論理の誤判断の3つの主要なエラーカテゴリを同定する。
我々の4段階パイプラインは、実際の患者データに基づいて、多種多様な臨床的に検証されたタスクを生成します。
論文 参考訳（メタデータ） (2026-01-13T21:26:11Z) - DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。
本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
論文 参考訳（メタデータ） (2025-10-24T08:01:21Z) - Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。
Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。
厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
論文 参考訳（メタデータ） (2025-08-29T08:58:39Z) - Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。
LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。
敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。
私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
論文 参考訳（メタデータ） (2025-07-30T08:44:22Z) - AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments [2.567146936147657]
シミュレーションされた臨床環境における大規模言語モデル(LLM)の評価のためのマルチモーダルエージェントベンチマークであるAgentClinicを紹介する。
我々は,AgentClinicの逐次決定形式におけるMedQA問題の解決が極めて困難であることに気付き,診断精度が元の精度の10分の1以下に低下することを発見した。
論文 参考訳（メタデータ） (2024-05-13T17:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。