論文の概要: MedCTA: A Benchmark for Clinical Tool Agents

• arxiv url: http://arxiv.org/abs/2606.11702v1
• Date: Wed, 10 Jun 2026 06:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.32497
• Title: MedCTA: A Benchmark for Clinical Tool Agents
• Title（参考訳）: MedCTA: 臨床ツールエージェントのベンチマーク
• Authors: Tajamul Ashraf, Hyewon Jeong, Fida Mohammad Thoker, Bernard Ghanem,
• Abstract要約: MedCTA(MedCTA)は,臨床医が有する段階的作業における医療ツールエージェントの評価のためのベンチマークである。 MedCTAは、実世界の107の臨床的タスクと、臨床者が検証した5つのデプロイツール以上の実行可能な軌道から構成される。 我々は18のオープンソースおよびクローズドソースマルチモーダルモデルをベンチマークし、フロンティアシステムでさえもマルチステップ臨床ツールの使用において脆弱であることを発見した。
• 参考スコア（独自算出の注目度）: 47.47354499871572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To make clinically grounded decisions, medical AI agents are expected to go beyond simple recognition and be capable of tool retrieval, evidence acquisition, and integration. Existing benchmarks largely evaluate isolated perception or single-turn question answering, and therefore provide limited visibility into failures of planning, tool recruitment, and rollout reliability. We introduce MedCTA, a benchmark for evaluating medical tool agents on clinician-validated, step-implicit tasks grounded in realistic multimodal clinical inputs, including radiology images, pathology slides, and reports. MedCTA comprises 107 real-world clinical tasks with clinician-verified executable trajectories over 5 deployed tools, and supports process-aware evaluation of tool selection, argument validity, execution stability, trajectory fidelity, and outcome quality. We benchmark 18 open- and closed-source multimodal models and find that even frontier systems remain brittle in multi-step clinical tool use: autonomous rollouts are dominated by protocol failures, premature stopping, and incorrect tool recruitment, while gold-standard tool routing yields large but still incomplete gains. These results show that strong backbone perception does not translate into reliable agentic behavior in clinical settings. MedCTA provides a rigorous testbed for auditing, diagnosing, and advancing trustworthy medical AI agents. The dataset and evaluation suite are available at https://ivul-kaust.github.io/MedCTA/
• Abstract（参考訳）: 臨床的に根ざした判断をするために、医療AIエージェントは単純な認識を超えて、ツール検索、エビデンス取得、統合が可能であることが期待されている。 既存のベンチマークでは、独立した認識やシングルターンの質問応答が評価されているため、計画の失敗やツールの採用、ロールアウトの信頼性が制限されている。 MedCTAは, 放射線画像, 病理スライド, レポートなど, リアルなマルチモーダルな臨床インプットに基づく, 臨床正当性, ステップインプリケートなタスクに対する医療用ツールエージェントの評価のためのベンチマークである。 MedCTAは、5つのデプロイされたツールに対して、臨床者が検証した実行可能な軌跡を持つ実世界の107の臨床的タスクから構成され、ツールの選択、議論の妥当性、実行安定性、軌道の忠実さ、結果品質のプロセス認識評価をサポートする。 我々は18のオープンソースおよびクローズドソースのマルチモーダルモデルをベンチマークし、フロンティアシステムでさえもマルチステップの臨床ツール使用において不安定なままであることを確認した。 以上の結果より, 強い背骨知覚が臨床症状の信頼性に寄与しないことが明らかとなった。 MedCTAは、信頼できる医療AIエージェントの監査、診断、進歩のための厳格なテストベッドを提供する。 データセットと評価スイートはhttps://ivul-kaust.github.io/MedCTA/で公開されている。

関連論文リスト

• EvoClinician: A Self-Evolving Agent for Multi-Turn Medical Diagnosis via Test-Time Evolutionary Learning [72.70291772077738]
  エージェントのマルチターン診断能力を評価するためのベンチマークであるMed-Inquireを提案する。 次に、テスト時に効率的な診断戦略を学ぶ自己進化エージェントであるEvoClinicianを紹介する。 実験の結果,EvoClinicianは連続学習ベースラインや,メモリエージェントなどの自己進化エージェントよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-30T13:26:18Z)
• AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
  本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。 評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。 実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
  論文  参考訳（メタデータ） (2026-01-23T11:59:13Z)
• Generalist Large Language Models Outperform Clinical Tools on Medical Benchmarks [1.2773749417703923]
  ジェネラリストモデルは一貫して臨床ツールより優れていた。 OpenEvidenceとUpToDate Expert AIは、完全性、コミュニケーション品質、コンテキスト認識、システムベースの安全性推論の欠陥を実証した。
  論文  参考訳（メタデータ） (2025-12-01T02:14:43Z)
• Timely Clinical Diagnosis through Active Test Selection [49.091903570068155]
  本稿では,現実の診断推論をよりうまくエミュレートするためのACTMED (Adaptive Clinical Test selection via Model-based Experimental Design)を提案する。 LLMは柔軟なシミュレータとして機能し、構造化されたタスク固有のトレーニングデータを必要とせずに、患者状態のもっともらしい分布を生成し、信念の更新をサポートする。 我々は、実世界のデータセット上でACTMEDを評価し、診断精度、解釈可能性、リソース使用量を改善するためにテスト選択を最適化できることを示す。
  論文  参考訳（メタデータ） (2025-10-21T18:10:45Z)
• MedBrowseComp: Benchmarking Medical Deep Research and Computer Use [10.565661515629412]
  MedBrowseCompは、エージェントが医療事実を検索し、合成する能力を体系的にテストするベンチマークである。 臨床シナリオを反映した1,000以上の人為的な質問が含まれている。 MedBrowseCompをフロンティアエージェントシステムに適用すると、パフォーマンスの欠点が10%も低くなる。
  論文  参考訳（メタデータ） (2025-05-20T22:42:33Z)
• AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments [2.567146936147657]
  シミュレーションされた臨床環境における大規模言語モデル(LLM)の評価のためのマルチモーダルエージェントベンチマークであるAgentClinicを紹介する。 我々は,AgentClinicの逐次決定形式におけるMedQA問題の解決が極めて困難であることに気付き,診断精度が元の精度の10分の1以下に低下することを発見した。
  論文  参考訳（メタデータ） (2024-05-13T17:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。