論文の概要: Auto-MD-bench: Evaluating Autoresearch Agents for Real-World Medical Tasks

• arxiv url: http://arxiv.org/abs/2610.25069v1
• Date: Sun, 18 Oct 2026 07:19:05 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:08:56.268182
• Title: Auto-MD-bench: Evaluating Autoresearch Agents for Real-World Medical Tasks
• Title（参考訳）: Auto-MD-bench: リアルタイム医療タスクのための自動検索エージェントの評価
• Abstract要約: Auto-MD-benchは、10の臨床データセットから15の現実世界の医療タスクのベンチマークである。 AIDE、AI Scientist v2、Codex、Autoresearchの4つの自律エージェントを評価した。
• 参考スコア（独自算出の注目度）: 5.97661697367355
• License:
• Abstract: Autonomous agents are increasingly capable of developing machine learning (ML) models end to end. In medical practice, however, strong performance on the target metric does not fully characterize how good the models are in real-world use cases. For example, medical ML models should also provide well-calibrated risk estimates and remain robust across patient populations. Yet autonomous model development is typically guided by task objectives that emphasize simple predictive discrimination (e.g. AUROC). This raises a key question: are these objectives sufficient to guide agents toward models that meet the broader requirements of real-world medical use? In this study, we introduce Auto-MD-bench, a benchmark of 15 real-world medical tasks from 10 clinical datasets, spanning survival analysis, classification and sequential prediction, with external validation across cohorts, hospitals and time periods. We evaluate four agents: AIDE, AI Scientist v2, Codex, and Autoresearch. The strongest agents achieve competitive primary scores, yet their predicted risks are less calibrated than those of the simple baseline models, which could lead to severe medical accidents. Moreover, models with nearly identical primary scores can exhibit markedly different calibration, while performance varies substantially across population shifts. These findings show that primary task performance alone is insufficient to assess autonomous clinical modeling and multiple different metrics widely used in healthcare practice need to be taken into consideration.
• Abstract（参考訳）: 自律エージェントは、マシンラーニング(ML)モデルをエンドツーエンドで開発する能力がますます高まっている。 しかし、医療実践においては、実際のユースケースでモデルがいかに優れているかを、ターゲットメトリック上での強いパフォーマンスが完全には特徴付けていない。 例えば、医療MLモデルは、十分な校正されたリスク見積を提供し、患者集団間で堅牢なままでいなければならない。 しかし、自律的なモデル開発は通常、単純な予測的差別(AUROCなど)を強調するタスク目標によって導かれる。 これらの目的は、現実の医療利用の幅広い要件を満たすモデルに向けてエージェントを導くのに十分なのだろうか? 本研究では,10の臨床データセットから得られた15の実際の医療タスクのベンチマークであるAuto-MD-benchを紹介する。 AIDE、AI Scientist v2、Codex、Autoresearchの4つのエージェントを評価します。 最強のエージェントは、競争力のあるプライマリスコアを達成するが、予測されるリスクは、単純なベースラインモデルよりもキャリブレーションが低く、深刻な医療事故につながる可能性がある。 さらに、ほぼ同一の一次スコアを持つモデルは著しく異なるキャリブレーションを示すが、性能は人口移動によって大きく異なる。 これらの結果から,医療実践で広く用いられている複数の指標を考慮し,自律的な臨床モデルを評価するには,一次タスクのパフォーマンスだけでは不十分であることが示唆された。

関連論文リスト

• BenchX: Benchmarking AI Models for Cancer Detection and Localization with Demographic and Protocol Biases [59.19934491064188]
  人工知能(AI)は医療画像において顕著な成功を収めた。 これらのモデルは、実世界の臨床環境において矛盾なく機能することが多い。 我々は,12種類の腫瘍検出AIモデルを体系的に評価する85,355個のCTスキャンのベンチマークを開発した。
  論文  参考訳（メタデータ） (2026-06-23T17:58:59Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• Human-Guided Agentic AI for Multimodal Clinical Prediction: Lessons from the AgentDS Healthcare Benchmark [0.5066646435185324]
  エージェントAIの人的指導がマルチモーダルな臨床予測をどのように改善するかを検討する。 本研究は,30日間の入院予測,救急医療費予測,退院準備状況評価という3つのベンチマーク課題に対するアプローチを提案する。 医療領域全体では5位にランクインし, 退院準備作業では3位にランクインした。
  論文  参考訳（メタデータ） (2026-02-23T04:37:45Z)
• An autonomous agent for auditing and improving the reliability of clinical AI models [11.225863068085266]
  本稿では,ユーザと対話する自己表現型エージェントであるModelAuditorを紹介する。 ModelAuditorはコンテキストに依存し、臨床的に関連する分布シフトをシミュレートする。 そして、デプロイ中にパフォーマンスがどの程度低下するかを説明する解釈可能なレポートを生成する。
  論文  参考訳（メタデータ） (2025-07-08T07:58:52Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• EventScore: An Automated Real-time Early Warning Score for Clinical Events [3.3039612529376625]
  臨床劣化を示す各種臨床事象の早期予測のための解釈可能なモデルを構築した。 このモデルは2つのデータセットと4つの臨床イベントで評価される。 私達のモデルは手動で記録された特徴を要求しないで完全に自動化することができます。
  論文  参考訳（メタデータ） (2021-02-11T11:55:08Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。