論文の概要: AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
- arxiv url: http://arxiv.org/abs/2606.01961v2
- Date: Wed, 03 Jun 2026 05:43:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 13:59:43.532336
- Title: AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
- Title（参考訳）: AutoMedBench: エージェントAIモデルによる医療自動検索を目指す
- Abstract要約: AutoMedBenchは、自律医療AI研究のためのワークフロー対応ベンチマークである。
各ランの平均エージェントターンが33回ある長い水平タスクで構成されている。
- 参考スコア（独自算出の注目度）: 31.335309699875264
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Autonomous agents are increasingly expected to support end-to-end medical-AI research workflows, moving beyond isolated prediction tasks or short-form clinical question answering. However, existing medical agent benchmarks primarily evaluate final outputs, providing limited visibility into agent behavior within the research process. To address this gap, we present AutoMedBench, a workflow-aware benchmark for autonomous medical-AI research across diverse medical imaging and multimodal inference tasks, organizing agent execution into a unified five-stage workflow (S1-S5): Plan, Setup, Validate, Inference, and Submit. It comprises long-horizon tasks with each run averaging 33 agent turns, spanning five research tracks: segmentation, image enhancement, visual question answering (VQA), report generation, and lesion detection. Each task is evaluated under two difficulty tiers, Lite and Standard, which use the same data and metrics but differ in the amount of task-brief scaffolding, and each run is scored using both final task performance and S1-S5 stage scores, enabling stage-level analysis from the initial task brief to the final submitted artifact. Across thousands of recorded runs, stage-level scoring reveals that Validate is the weakest workflow stage on average, whereas Setup is the strongest, suggesting that current agents are better at making pipelines executable than at verifying their reliability. Post-run error analysis further shows that verification and submission failures dominate tagged errors, accounting for 37.7% and 38.1% of fired codes respectively, whereas task-understanding errors are rare at 0.9%, and runs with one fired error code have a 48% lower overall score than runs with no error code on average.
- Abstract（参考訳）: 自律エージェントは、独立した予測タスクや短期的な臨床質問応答を超えて、エンドツーエンドの医療-AI研究ワークフローをサポートすることがますます期待されている。
しかし、既存の医療エージェントベンチマークは主に最終結果を評価し、研究プロセス内のエージェントの振る舞いを限定的に可視化する。
このギャップに対処するため、AutoMedBenchは、多様な医療画像およびマルチモーダル推論タスクにわたる自律医療AI研究のためのワークフロー対応ベンチマークであり、エージェントの実行を統合された5段階ワークフロー(S1-S5: Plan, Setup, Validate, Inference, Submit)に編成する。
ラン平均33のエージェントターンで、セグメンテーション、画像強調、視覚的質問応答(VQA)、レポート生成、病変検出の5つの研究トラックにまたがる。
各タスクはLiteとStandardの2つの難易度で評価される。LiteとStandardは同じデータとメトリクスを使用するが、タスクブリーフスキャフォールディングの量が異なるため、各実行は最終タスクパフォーマンスとS1-S5ステージスコアの両方を用いてスコアされ、初期タスクから最終提出されたアーティファクトまでのステージレベル解析を可能にする。
数千回にわたって記録された、ステージレベルのスコアでは、Validateが平均して最も弱いワークフローステージであるのに対して、Setupは最強であり、現在のエージェントはパイプラインを信頼性を検証するよりも実行可能であることを示唆している。
実行後エラー分析では、それぞれ37.7%と38.1%というタグ付きエラーが検証と提出の失敗で支配されているのに対し、タスク理解エラーは0.9%で稀であり、1回の点検エラーコードは平均でエラーコードがない場合よりも48%低いスコアで実行されている。
関連論文リスト
- Towards Autonomous and Auditable Medical Imaging Model Development [53.326510777116766]
本稿では,医療画像モデル開発のための自律型マルチエージェントフレームワークAMIDを紹介する。
AMIDが最初に提案するData-Conditioned Method Planningは、タスクレベルの粗い検索空間を、実行可能で並列化可能なメソッドレーンに洗練する。
次に検証誘導二段階最適化(Verification-Guided Two-Stage Optimization)を開発し、様々な手法レーンの広範な早期探索から、有望な候補の選択的利用へと移行した。
論文 参考訳（メタデータ） (2026-07-12T00:54:06Z) - DRFLOW: A Deep Research Benchmark for Personalized Workflow Prediction [44.59825034567626]
多くのエンタープライズタスクは、アクションステップのシーケンスであるコンクリートを特定するためにエージェントを必要とします。
異種ソースからのパーソナライズされた予測を評価するためのベンチマークであるDRFLOWを紹介する。
DRFLOWには5つのドメインに100のタスクがあり、3900以上のソースに1,246の参照ワークフローステップがある。
論文 参考訳（メタデータ） (2026-06-16T17:22:07Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - Unified Ultrasound Intelligence Toward an End-to-End Agentic System [8.884663182013282]
USTriは、マルチオーガナイズド・マルチタスク分析のための三段階超音波インテリジェンスパイプラインである。
ステージ1は、異なるドメインで普遍的なジェネラリストUSGenを訓練し、広く、転送可能な事前学習を行う。
Stage IIはUSpecをビルドし、USGenを凍結し、微調整する。
ステージIIIでは、多段階の推論と構造化レポートのために臨床専門家を模倣するUSAgentが導入されている。
論文 参考訳（メタデータ） (2026-04-18T08:46:58Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis [17.279226216630065]
軌道評価を3段階に分解するGUIDE(GUI Understanding and Interpretable Assessment Evaluation)を導入する。
サブタスク診断は、各ユニットを文脈で評価し、完了判定を割り当て、修正レコメンデーションで構造化されたエラー解析を生成する。
我々はGUIDEを,932トラジェクトリの産業用Eコマースデータセット,1302トラジェクトリの5つのWebエージェントタスクを対象としたAgentREWARDBENCH,モバイルデバイス制御用のAndroidBenchの3つのベンチマークで検証した。
論文 参考訳（メタデータ） (2026-04-06T03:58:43Z) - Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence? [35.30497528897595]
Agentic-MMEはマルチモーダルエージェント能力のプロセス検証ベンチマークである。
6つのドメインにまたがる418の現実世界タスクと3つの困難レベルを含んでいる。
2,000以上のステップワイズなチェックポイントがあり、1タスクあたり平均10時間以上の手動アノテーションがある。
論文 参考訳（メタデータ） (2026-04-03T13:02:01Z) - Human-Guided Agentic AI for Multimodal Clinical Prediction: Lessons from the AgentDS Healthcare Benchmark [0.5066646435185324]
エージェントAIの人的指導がマルチモーダルな臨床予測をどのように改善するかを検討する。
本研究は,30日間の入院予測,救急医療費予測,退院準備状況評価という3つのベンチマーク課題に対するアプローチを提案する。
医療領域全体では5位にランクインし, 退院準備作業では3位にランクインした。
論文 参考訳（メタデータ） (2026-02-23T04:37:45Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。
エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。
本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
論文 参考訳（メタデータ） (2026-01-28T13:49:18Z) - ART: Action-based Reasoning Task Benchmarking for Medical AI Agents [0.0]
本稿では,医療AIエージェントのためのアクションベース推論臨床タスクベンチマークを紹介する。
検索エラー、集約エラー、条件論理の誤判断の3つの主要なエラーカテゴリを同定する。
我々の4段階パイプラインは、実際の患者データに基づいて、多種多様な臨床的に検証されたタスクを生成します。
論文 参考訳（メタデータ） (2026-01-13T21:26:11Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。