論文の概要: MedBenchAgent: Towards Systematic Automation of Medical VLM Benchmark Construction
- arxiv url: http://arxiv.org/abs/2610.11312v1
- Date: Thu, 08 Oct 2026 06:17:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.828747
- Title: MedBenchAgent: Towards Systematic Automation of Medical VLM Benchmark Construction
- Title（参考訳）: MedBenchAgent:医療用VLMベンチマーク構築のシステム自動化を目指して
- Abstract要約: 医療ビジョン言語モデル(VLM)ベンチマークの大規模構築は、ますます実現可能になっている。
既存の自動化は主に、事前定義されたベンチマーク仕様内で評価項目を生成することに焦点を当てている。
我々は,タスク定義,エビデンスマッピング,評価プロトコル,項目仕様を符号化したベンチマーク中間表現(BIR)を備えたマルチエージェントフレームワークであるMedBenchAgentを紹介する。
- 参考スコア（独自算出の注目度）: 5.635037360963884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale construction of medical vision-language model (VLM) benchmarks is increasingly feasible with richly annotated imaging datasets and large language models (LLMs), yet existing automation largely focuses on generating evaluation items within predefined benchmark specifications. We study the broader problem of automatically deriving the specification itself: what to evaluate, which annotations support each task, and how to translate this evidence into reliable evaluation items. We formulate benchmark construction as constrained compilation, in which the benchmark specification is progressively derived from evaluation requirements, heterogeneous annotations, and medical knowledge. Based on this formulation, we introduce MedBenchAgent, a multi-agent framework with a Benchmark Intermediate Representation (BIR) that encodes task definitions, evidence mappings, evaluation protocols, and item specifications across construction stages. MedBenchAgent separates planning, which derives and verifies the specification, from instantiation, which constructs and audits items under the locked specification. MedBenchAgent achieves a Task-Space F1 of 90.9%, outperforming direct task induction (79.2-80.0%) and prior-guided induction (85.1%); 994 of 1,000 sampled items from correctly identified tasks pass human audit. We further demonstrate portability to a specialized medical domain and evaluate twelve VLMs, revealing task- and setting-specific variation obscured by aggregate scores. These results establish constrained compilation as a scalable and auditable framework for medical VLM benchmark construction beyond question generation.
- Abstract（参考訳）: 医用視覚言語モデル(VLM)ベンチマークの大規模構築は、リッチな注釈付き画像データセットと大規模言語モデル(LLM)で実現可能になっているが、既存の自動化は、事前に定義されたベンチマーク仕様内で評価項目を生成することに集中している。
我々は、仕様自体を自動的に導き出すという、より広範な問題について検討する。どのアノテーションが各タスクをサポートするか、そしてこの証拠を信頼性のある評価項目にどのように変換するか。
ベンチマーク作成を制約付きコンパイルとして定式化し、ベンチマーク仕様は、評価要件、異種アノテーション、医療知識から徐々に導出される。
この定式化に基づいて,タスク定義,エビデンスマッピング,評価プロトコル,構成段階を越えた項目仕様を符号化するベンチマーク中間表現(BIR)を備えたマルチエージェントフレームワークであるMedBenchAgentを紹介する。
MedBenchAgentは、ロックされた仕様の下でアイテムを構築し、監査するインスタンス化から仕様を導出し、検証するプランニングを分離する。
MedBenchAgentは90.9%のタスク空間F1を達成し、直接タスク誘導(79.2-80.0%)と事前誘導(85.1%)を上回っている。
さらに,特定医療領域への移植性を実証し,12個のVLMを評価した。
これらの結果から,医療用VLMベンチマーク構築のためのスケーラブルで監査可能なフレームワークとして制約付きコンパイルが確立された。
関連論文リスト
- Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents [56.10249598693586]
AutoSciBenchは、各タスクを、科学領域、データモダリティ、要求推論アプローチを指定する高レベルな概念として表現するフレームワークである。
エージェントはそれぞれのタスクを解決し、解決者トラジェクトリを生成し、AutoSciBenchがレシピやコンセプトを改訂するために使用している判断フィードバックに対応する。
計算生物学,材料科学,臨床画像におけるAutoSciBenchの評価を行った。
論文 参考訳（メタデータ） (2026-10-04T11:40:11Z) - Meddies-PII: A Multilingual Framework for Personally Identifiable Information Extraction in Clinical De-identification [0.649970685896541]
我々は17の言語と9のPIIラベルにまたがる100万の合成臨床文書のコーパスであるMeddies-PII-Datasetを紹介した。
文書は属性条件付きプロンプトを使用して生成され、13の決定論的ゲートを通じて検証される。
Meddies-PII-Modelは、報告された全てのベンチマークで評価されたシステムの中で最高の性能を達成する。
論文 参考訳（メタデータ） (2026-09-11T07:53:52Z) - Towards Fully Automated Medical Imaging Code Generation via Validation-based Context Engineering [19.965191998381794]
AutoMedImgは、完全に自動化された医用画像処理コード生成のためのマルチエージェントフレームワークである。
セマンティックおよびフォーマルな検証を伴うデータセット分析とアーキテクチャ設計を行うプランニングフェーズと、静的チェック、実行テスト、アセンブリバリデーションと並行してモジュールを生成するコーディングフェーズである。
人間の介入はゼロであり、Diceのスコアはセグメンテーションタスクが最大0.90、分類が99%である。
論文 参考訳（メタデータ） (2026-08-29T03:10:00Z) - Towards Autonomous and Auditable Medical Imaging Model Development [53.326510777116766]
本稿では,医療画像モデル開発のための自律型マルチエージェントフレームワークAMIDを紹介する。
AMIDが最初に提案するData-Conditioned Method Planningは、タスクレベルの粗い検索空間を、実行可能で並列化可能なメソッドレーンに洗練する。
次に検証誘導二段階最適化(Verification-Guided Two-Stage Optimization)を開発し、様々な手法レーンの広範な早期探索から、有望な候補の選択的利用へと移行した。
論文 参考訳（メタデータ） (2026-07-12T00:54:06Z) - Benchmark Everything Everywhere All at Once [28.30618112297148]
ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。
本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。
テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
論文 参考訳（メタデータ） (2026-06-04T17:52:04Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
オピオイド危機は公衆衛生にとって重要な瞬間である。
UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書
本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-11-13T03:27:32Z) - Assessing Large Language Models for Structured Medical Order Extraction [0.6015898117103068]
MEDIQA-OE 2025の共有タスクは、拡張された会話の書き起こしから構造化された医療命令を抽出することに焦点を当てている。
合計105名の参加チームの中で5位にランクインしたメイソンの応募を提示する。
この数発構成はF1点平均37.76点を達成し、推理精度と精度が向上した。
論文 参考訳（メタデータ） (2025-10-12T06:56:10Z) - MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation [2.3251933592942247]
私たちはMedRepBenchを紹介します。MedRepBenchは、1,900の特定されていない現実の中国の医療レポートから構築された総合的なベンチマークです。
このベンチマークは主に、構造化された医療報告理解のためのエンドツーエンドのVLMを評価するために設計されている。
また、OCR+LLMパイプラインは、高いパフォーマンスにもかかわらず、レイアウトのブラインドネスとレイテンシの問題に悩まされていることも観察した。
論文 参考訳（メタデータ） (2025-08-21T07:52:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。