論文の概要: HealthAdminBench: Evaluating Computer-Use Agents on Healthcare Administration Tasks
- arxiv url: http://arxiv.org/abs/2604.09937v1
- Date: Fri, 10 Apr 2026 22:33:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:15.754072
- Title: HealthAdminBench: Evaluating Computer-Use Agents on Healthcare Administration Tasks
- Title（参考訳）: HealthAdminBench: 医療管理タスクにおけるコンピュータ利用エージェントの評価
- Abstract要約: 医療行政の年間支出は1兆ドルを超えており、コンピュータ利用エージェント(CUA)にとって有望な目標となっている。
HealthAdminBenchは、4つの現実的なGUI環境で構成されるベンチマークである。
マルチプロンプトおよび観測条件下でのエージェント構成を7つ評価し, 高いサブタスク性能にもかかわらず, エンドツーエンドの信頼性は低いことがわかった。
- 参考スコア（独自算出の注目度）: 19.2699825267806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Healthcare administration accounts for over $1 trillion in annual spending, making it a promising target for LLM-based computer-use agents (CUAs). While clinical applications of LLMs have received significant attention, no benchmark exists for evaluating CUAs on end-to-end administrative workflows. To address this gap, we introduce HealthAdminBench, a benchmark comprising four realistic GUI environments: an EHR, two payer portals, and a fax system, and 135 expert-defined tasks spanning three administrative task types: Prior Authorization, Appeals and Denials Management, and Durable Medical Equipment (DME) Order Processing. Each task is decomposed into fine-grained, verifiable subtasks, yielding 1,698 evaluation points. We evaluate seven agent configurations under multiple prompting and observation settings and find that, despite strong subtask performance, end-to-end reliability remains low: the best-performing agent (Claude Opus 4.6 CUA) achieves only 36.3 percent task success, while GPT-5.4 CUA attains the highest subtask success rate (82.8 percent). These results reveal a substantial gap between current agent capabilities and the demands of real-world administrative workflows. HealthAdminBench provides a rigorous foundation for evaluating progress toward safe and reliable automation of healthcare administrative workflows.
- Abstract（参考訳）: 医療行政は年間支出が1兆ドルを超えており、LCMベースのコンピュータ利用エージェント(CUA)にとって有望な目標となっている。
LLMの臨床応用は注目されているが、CUAをエンドツーエンドの管理ワークフローで評価するためのベンチマークは存在しない。
このギャップに対処するため、我々はHealthAdminBenchという4つの現実的なGUI環境、EHR、2つの有料ポータル、ファックスシステム、および3つの管理タスクタイプにまたがる135のエキスパート定義タスクを含むベンチマークを紹介した。
各タスクは細粒度で検証可能なサブタスクに分解され、1,698の評価ポイントを得る。
GPT-5.4 CUAはサブタスク成功率(82.8%)が最も高いのに対して、ベストパフォーマンスエージェント(Claude Opus 4.6 CUA)はわずか36.3%のタスク成功率である。
これらの結果から,現在のエージェント機能と現実の管理ワークフローの要求との間には,大きなギャップがあることがわかった。
HealthAdminBenchは、医療管理ワークフローの安全で信頼性の高い自動化に向けた進捗を評価するための厳格な基盤を提供する。
関連論文リスト
- RobustSGPO: Search-Space Control for Agent Harness Evolution [56.722805974785125]
我々は、要求された編集、構成、パッチのチェックを指定し、既存のスナップショットまたは保持スナップショットからの検索を継続するRobustSGPOを紹介した。
我々は,120タスク,95ラン,7350の候補を用いて,AgentXブレインストーミングワークフローにおけるパーミッションスケジューリング,累積制御,タスクファミリー転送を評価した。
論文 参考訳（メタデータ） (2026-09-09T03:00:03Z) - Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam? [90.39633603556767]
コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。
この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。
我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。
より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
論文 参考訳（メタデータ） (2026-06-09T14:59:14Z) - AutoMedBench: Towards Medical AutoResearch with Agentic AI Models [31.335309699875264]
AutoMedBenchは、自律医療AI研究のためのワークフロー対応ベンチマークである。
各ランの平均エージェントターンが33回ある長い水平タスクで構成されている。
論文 参考訳（メタデータ） (2026-06-01T09:22:55Z) - MetaCogAgent: A Metacognitive Multi-Agent LLM Framework with Self-Aware Task Delegation [11.486913474115402]
本稿では,メタ認知自己評価ユニットを備えた多エージェント大規模言語モデル(LLM)フレームワークであるMetaCogAgentを提案する。
MetaCogAgentは、AutoGenよりも5%少ないAPIコールを使用し、アンサンブル投票よりも34%少ないタスク精度を82.4%達成している。
論文 参考訳（メタデータ） (2026-05-17T07:12:04Z) - CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? [150.84850629123287]
現実的な医療業務のエンドツーエンドの自動化は、現在のベンチマークで不足している3つの機能を強調します。
$-Benchは3つのドメインにわたる長期医療のベンチマークである。
30以上のエージェントハーネス/モデル構成で、最高のエージェントはタスクの28.0%しか解決せず、厳格なパス3では20%をクリアし、単一のセッションですべてのタスクを実行するとパフォーマンスは3.8%に低下する。
論文 参考訳（メタデータ） (2026-05-15T22:34:31Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。
エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。
本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
論文 参考訳（メタデータ） (2026-01-28T13:49:18Z) - ART: Action-based Reasoning Task Benchmarking for Medical AI Agents [0.0]
本稿では,医療AIエージェントのためのアクションベース推論臨床タスクベンチマークを紹介する。
検索エラー、集約エラー、条件論理の誤判断の3つの主要なエラーカテゴリを同定する。
我々の4段階パイプラインは、実際の患者データに基づいて、多種多様な臨床的に検証されたタスクを生成します。
論文 参考訳（メタデータ） (2026-01-13T21:26:11Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - UI-CUBE: Enterprise-Grade Computer Use Agent Benchmarking Beyond Task Accuracy to Operational Reliability [35.18016233072556]
We present UI-CUBE (UiPath Computer Use BEnchmark), a benchmark with 226 tasks across two difficulty tiers。
私たちの評価では、シンプルなUIインタラクション(136タスク)と、コピー・ペーストタスク(50タスク)とエンタープライズアプリケーションシナリオ(40タスク)を含む複雑度をカバーしています。
現在のCUAは個々のインターフェイス要素を操作できるが、信頼性の高いワークフロー自動化ツールとして機能することはまだできない。
論文 参考訳（メタデータ） (2025-11-21T10:47:22Z) - Randomized Controlled Trials for Conditional Access Optimization Agent [0.9558392439655014]
Microsoft Entraにおける条件アクセス(CA)ポリシー管理のためのAIエージェントの評価を行った最初のランダム化制御試験(RCT)の結果を報告する。
エージェントアクセスは、精度が48%向上し、タスク完了時間が43%低下し、精度が一定であった。
これらの結果から, 汎用AIエージェントは, アイデンティティ管理における速度と精度の両方を著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2025-11-17T19:33:03Z) - CUARewardBench: A Benchmark for Evaluating Reward Models on Computer-using Agent [46.41047559759938]
CUA(Computer-using Agent)は、オペレーティングシステムやソフトウェアインターフェースとの自然なインタラクションを通じてタスクの完了を可能にするエージェントである。
Reward モデルは有望な代替手段を提供するが、CUA 評価におけるその有効性はほとんど未検討である。
CUARewardBenchは4つの重要なコントリビューションから構成される。
論文 参考訳（メタデータ） (2025-10-21T12:53:40Z) - SCUBA: Salesforce Computer Use Benchmark [63.66753028386581]
SCUBAは、Salesforceプラットフォーム内の顧客関係管理(CRM)上のコンピュータ利用エージェントを評価するために設計されたベンチマークである。
SCUBAには、実際のユーザインタビューから派生した300のタスクインスタンスが含まれており、3つの主要なペルソナ、プラットフォーム管理者、セールス担当者、サービスエージェントで構成されている。
ゼロショット設定とデモ拡張設定の両方で、多様なエージェントのセットをベンチマークします。
論文 参考訳（メタデータ） (2025-09-30T16:48:49Z) - GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging [41.754784344572286]
実際のシナリオでコードエージェントを評価するベンチマークであるGitTaskBenchをリリースしています。
各タスクは、自動化された人為的な評価ハーネスと関連するリポジトリをペアリングする。
また,エージェント性能の経済的利益を定量化するためのα値指標を提案する。
論文 参考訳（メタデータ） (2025-08-26T12:48:05Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。