論文の概要: AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
- arxiv url: http://arxiv.org/abs/2606.01961v2
- Date: Wed, 03 Jun 2026 05:43:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 13:59:43.532336
- Title: AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
- Title（参考訳）: AutoMedBench: エージェントAIモデルによる医療自動検索を目指す
- Authors: Junqi Liu, Selena Song, Yuhan Wang, Jiawei Mao, Hardy Chen, Xiaoke Huang, Tianhao Qi, Pengfei Guo, Yucheng Tang, Yufan He, Can Zhao, Andriy Myronenko, Dong Yang, Daguang Xu, Yuyin Zhou,
- Abstract要約: AutoMedBenchは、自律医療AI研究のためのワークフロー対応ベンチマークである。
各ランの平均エージェントターンが33回ある長い水平タスクで構成されている。
- 参考スコア（独自算出の注目度）: 31.335309699875264
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Autonomous agents are increasingly expected to support end-to-end medical-AI research workflows, moving beyond isolated prediction tasks or short-form clinical question answering. However, existing medical agent benchmarks primarily evaluate final outputs, providing limited visibility into agent behavior within the research process. To address this gap, we present AutoMedBench, a workflow-aware benchmark for autonomous medical-AI research across diverse medical imaging and multimodal inference tasks, organizing agent execution into a unified five-stage workflow (S1-S5): Plan, Setup, Validate, Inference, and Submit. It comprises long-horizon tasks with each run averaging 33 agent turns, spanning five research tracks: segmentation, image enhancement, visual question answering (VQA), report generation, and lesion detection. Each task is evaluated under two difficulty tiers, Lite and Standard, which use the same data and metrics but differ in the amount of task-brief scaffolding, and each run is scored using both final task performance and S1-S5 stage scores, enabling stage-level analysis from the initial task brief to the final submitted artifact. Across thousands of recorded runs, stage-level scoring reveals that Validate is the weakest workflow stage on average, whereas Setup is the strongest, suggesting that current agents are better at making pipelines executable than at verifying their reliability. Post-run error analysis further shows that verification and submission failures dominate tagged errors, accounting for 37.7% and 38.1% of fired codes respectively, whereas task-understanding errors are rare at 0.9%, and runs with one fired error code have a 48% lower overall score than runs with no error code on average.
- Abstract（参考訳）: 自律エージェントは、独立した予測タスクや短期的な臨床質問応答を超えて、エンドツーエンドの医療-AI研究ワークフローをサポートすることがますます期待されている。
しかし、既存の医療エージェントベンチマークは主に最終結果を評価し、研究プロセス内のエージェントの振る舞いを限定的に可視化する。
このギャップに対処するため、AutoMedBenchは、多様な医療画像およびマルチモーダル推論タスクにわたる自律医療AI研究のためのワークフロー対応ベンチマークであり、エージェントの実行を統合された5段階ワークフロー(S1-S5: Plan, Setup, Validate, Inference, Submit)に編成する。
ラン平均33のエージェントターンで、セグメンテーション、画像強調、視覚的質問応答(VQA)、レポート生成、病変検出の5つの研究トラックにまたがる。
各タスクはLiteとStandardの2つの難易度で評価される。LiteとStandardは同じデータとメトリクスを使用するが、タスクブリーフスキャフォールディングの量が異なるため、各実行は最終タスクパフォーマンスとS1-S5ステージスコアの両方を用いてスコアされ、初期タスクから最終提出されたアーティファクトまでのステージレベル解析を可能にする。
数千回にわたって記録された、ステージレベルのスコアでは、Validateが平均して最も弱いワークフローステージであるのに対して、Setupは最強であり、現在のエージェントはパイプラインを信頼性を検証するよりも実行可能であることを示唆している。
実行後エラー分析では、それぞれ37.7%と38.1%というタグ付きエラーが検証と提出の失敗で支配されているのに対し、タスク理解エラーは0.9%で稀であり、1回の点検エラーコードは平均でエラーコードがない場合よりも48%低いスコアで実行されている。
関連論文リスト
- EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - Unified Ultrasound Intelligence Toward an End-to-End Agentic System [8.884663182013282]
USTriは、マルチオーガナイズド・マルチタスク分析のための三段階超音波インテリジェンスパイプラインである。
ステージ1は、異なるドメインで普遍的なジェネラリストUSGenを訓練し、広く、転送可能な事前学習を行う。
Stage IIはUSpecをビルドし、USGenを凍結し、微調整する。
ステージIIIでは、多段階の推論と構造化レポートのために臨床専門家を模倣するUSAgentが導入されている。
論文 参考訳（メタデータ） (2026-04-18T08:46:58Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis [17.279226216630065]
軌道評価を3段階に分解するGUIDE(GUI Understanding and Interpretable Assessment Evaluation)を導入する。
サブタスク診断は、各ユニットを文脈で評価し、完了判定を割り当て、修正レコメンデーションで構造化されたエラー解析を生成する。
我々はGUIDEを,932トラジェクトリの産業用Eコマースデータセット,1302トラジェクトリの5つのWebエージェントタスクを対象としたAgentREWARDBENCH,モバイルデバイス制御用のAndroidBenchの3つのベンチマークで検証した。
論文 参考訳（メタデータ） (2026-04-06T03:58:43Z) - Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence? [35.30497528897595]
Agentic-MMEはマルチモーダルエージェント能力のプロセス検証ベンチマークである。
6つのドメインにまたがる418の現実世界タスクと3つの困難レベルを含んでいる。
2,000以上のステップワイズなチェックポイントがあり、1タスクあたり平均10時間以上の手動アノテーションがある。
論文 参考訳（メタデータ） (2026-04-03T13:02:01Z) - Human-Guided Agentic AI for Multimodal Clinical Prediction: Lessons from the AgentDS Healthcare Benchmark [0.5066646435185324]
エージェントAIの人的指導がマルチモーダルな臨床予測をどのように改善するかを検討する。
本研究は,30日間の入院予測,救急医療費予測,退院準備状況評価という3つのベンチマーク課題に対するアプローチを提案する。
医療領域全体では5位にランクインし, 退院準備作業では3位にランクインした。
論文 参考訳（メタデータ） (2026-02-23T04:37:45Z) - AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。
エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。
本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
論文 参考訳（メタデータ） (2026-01-28T13:49:18Z) - ART: Action-based Reasoning Task Benchmarking for Medical AI Agents [0.0]
本稿では,医療AIエージェントのためのアクションベース推論臨床タスクベンチマークを紹介する。
検索エラー、集約エラー、条件論理の誤判断の3つの主要なエラーカテゴリを同定する。
我々の4段階パイプラインは、実際の患者データに基づいて、多種多様な臨床的に検証されたタスクを生成します。
論文 参考訳（メタデータ） (2026-01-13T21:26:11Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。