論文の概要: ABRA: Agent Benchmark for Radiology Applications

• arxiv url: http://arxiv.org/abs/2605.11224v1
• Date: Mon, 11 May 2026 20:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.41795
• Title: ABRA: Agent Benchmark for Radiology Applications
• Title（参考訳）: ABRA:放射線医学応用のためのエージェントベンチマーク
• Abstract要約: エージェントがビューアとOrthanc DICOMサーバを操作する無線エージェントベンチマークであるABRAを紹介する。 ABRAには3つの困難層と8つのタイプにわたる655の655のタスクが含まれている。 各エピソードは、タスクタイプ固有の自動スコアラーによって、プランニング、実行、アウトカム(Blueth et al., 2025)に沿ってスコアされる。
• 参考スコア（独自算出の注目度）: 46.39696206872633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing medical-agent benchmarks deliver imaging as pre-selected samples, never as an environment the agent must navigate. We introduce ABRA, a radiology-agent benchmark in which the agent operates an OHIF viewer and an Orthanc DICOM server through twenty-one function-calling tools that span slice navigation, windowing, series selection, pixel-coordinate annotation, and structured reporting. ABRA contains 655 programmatically generated tasks across three difficulty tiers and eight types (viewer control, metadata QA, vision probe, annotation, longitudinal comparison, BI-RADS reporting, and oracle variants of annotation and BI-RADS reporting), drawn from LIDC-IDRI, Duke Breast Cancer MRI, and NLST New-Lesion LongCT. Each episode is scored along Planning, Execution, and Outcome (Bluethgen et al., 2025) by task-type-specific automatic scorers. Ten current models, five closed-weight and five open-weight, reach at least 89% Execution on real annotation but only 0-25% Outcome; on the paired oracle variant where a simulated detector supplies the finding, Outcome on the same task reaches 69-100% across the models evaluated, localising the bottleneck to perception rather than tool orchestration. Code, task generators, and scorers are released at https://github.com/Luab/ABRA
• Abstract（参考訳）: 既存の医療エージェントのベンチマークでは、事前に選択されたサンプルとして、エージェントがナビゲートしなければならない環境として、イメージングが提供される。 エージェントがOHIFビューアとOrthanc DICOMサーバを、スライスナビゲーション、ウィンドウニング、シリーズ選択、ピクセル座標アノテーション、構造化レポートにまたがる21の関数呼び出しツールを介して操作する放射線学エージェントベンチマークであるABRAを紹介する。 ABRAは、LIDC-IDRI、Duke Breast Cancer MRI、NLST New-Lesion LongCTから抽出された655のプログラム生成タスク(ビューアコントロール、メタデータQA、ビジョンプローブ、アノテーション、長手比較、BI-RADSレポート、およびBI-RADSレポート)を含む。 各エピソードは、タスクタイプ固有の自動スコアラーによって、プランニング、実行、アウトカム(Bluethgen et al , 2025)に沿ってスコアされる。 現在の10つのモデル、5つのクローズドウェイト、5つのオープンウェイトは、実際のアノテーションで少なくとも89%の実行に到達するが、0-25%のアウトカムしか達成できない。 コード、タスクジェネレータ、スコアラはhttps://github.com/Luab/ABRAでリリースされる。

関連論文リスト

• BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
  本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。 BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
  論文  参考訳（メタデータ） (2026-08-27T09:30:08Z)
• Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents [14.940946245813336]
  この分野における重要で未探索の能力 - 繊細なビジュアルツールの使用 - を特定します。 既存のベンチマークでは、Webナビゲーション、GUI操作、ソフトウェアエンジニアリングがカバーされている。 本稿では,視覚的ツール使用の制御されたインスタンスを評価するベンチマークであるEASELを提案する。
  論文  参考訳（メタデータ） (2026-08-26T06:19:28Z)
• AgentOmnia: Scaling Agentic Models for Full-Scenario Applications [36.656762500581216]
  大規模言語モデルエージェントは急速に進歩しているが、ドメイン、機能、タスクの難しさ、インタラクション設定にはまだ進歩が断片化されている。 これはTo-Consumer(ToC)、To-Business(ToB)、To-Employee(ToE)アプリケーション間でタスク空間の定義、データ合成、ポストトレーニング、評価、改善を調整するフレームワークです。
  論文  参考訳（メタデータ） (2026-07-25T09:58:24Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models [2.3004655342211078]
  大規模言語モデルは、もっともらしいバックエンドコードを生成するが、シングルパスパラダイムは、正確性や実行時の信頼性を保証するものではない。 バックエンドコードの中心に実行ベースのバリデーションを置くマルチエージェントフレームワークであるExecuGraphを紹介します。 エージェントごとのアブレーション、再試行予算の掃除、エラークラス分類、およびテストソース監査が報告されている。
  論文  参考訳（メタデータ） (2026-06-18T05:58:17Z)
• SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
  大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。 Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。 我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
  論文  参考訳（メタデータ） (2026-06-15T11:37:37Z)
• TADI: Tool-Augmented Drilling Intelligence via Agentic LLM Orchestration over Heterogeneous Wellsite Data [0.0]
  TADI(Tool-Augmented Drilling Intelligence)は、ドリル操作データをエビデンスベースの分析インテリジェンスに変換するエージェントAIシステムである。 TADIは、毎日1,759件の掘削レポート、選択されたWITリアルタイムオブジェクト、15,634件の生産記録、生成トップ、穴を二重ストアアーキテクチャに統合している。
  論文  参考訳（メタデータ） (2026-04-30T03:19:39Z)
• CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend [2.9612444540570113]
  診断フレーミングにおけるブラウザ可視性障害証拠とバックエンド可観測性を組み合わせた最初のベンチマークであるCUJBenchを提案する。 このベンチマークでは、全体的な精度は19.7%、天井は52%、飽和度よりかなり低い。
  論文  参考訳（メタデータ） (2026-04-25T22:10:53Z)
• AgentRaft: Automated Detection of Data Over-Exposure in LLM Agents [40.88941407116349]
  本稿では,大規模言語モデル(LLM)エージェントにおけるデータオーバー露光(DOE)リスクを検出するための,最初の自動化フレームワークであるAgentRaftを紹介する。 実世界のエージェントツール6,675のテスト環境でAgentRaftを評価した。
  論文  参考訳（メタデータ） (2026-03-08T09:40:54Z)
• BUSTR: Breast Ultrasound Text Reporting with a Descriptor-Aware Vision-Language Model [0.0]
  乳房超音波(BUS)のための自動放射線診断レポート生成(RRG)は、ペア画像レポートデータセットの欠如により制限される。 本稿では,BUSレポートを生成するマルチタスク・ビジョン言語フレームワークであるBUSTRを提案する。
  論文  参考訳（メタデータ） (2025-11-26T01:22:29Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Iterative Tool Usage Exploration for Multimodal Agents via Step-wise Preference Tuning [68.00304954972232]
  コントローラ、例えば視覚言語モデルと外部ツールを統合するマルチモーダルエージェントは、複雑なマルチモーダルタスクに対処する際、顕著な能力を示した。 これらのエージェントを訓練するための既存のアプローチは、広範囲なヒューマン・アノテートされたタスク・アンサー・ペアとツール・トラジェクトリに依存している。 本研究では,事前に収集したデータのないマルチモーダルエージェント,すなわち SPORT の反復ツール利用探索手法を提案する。 Sportには、タスク合成、ステップサンプリング、ステップ検証、優先度調整の4つの反復的なコンポーネントがある。
  論文  参考訳（メタデータ） (2025-04-30T12:01:27Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• How Well Can Modern LLMs Act as Agent Cores in Radiology Environments? [54.36730060680139]
  RadA-BenchPlatは、放射線学環境での大規模言語モデル(LLM)のパフォーマンスをベンチマークする評価プラットフォームである。 また、エージェント駆動型タスク解決ツールの10のカテゴリを定義し、7つの主要なLCMを評価している。
  論文  参考訳（メタデータ） (2024-12-12T18:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。