論文の概要: ERPBench: A State-Grounded Evaluation Paradigm for Computer-Use Agents in Enterprise Software
- arxiv url: http://arxiv.org/abs/2609.17885v2
- Date: Wed, 23 Sep 2026 01:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.635611
- Title: ERPBench: A State-Grounded Evaluation Paradigm for Computer-Use Agents in Enterprise Software
- Title（参考訳）: ERPBench: エンタープライズソフトウェアにおけるコンピュータ利用エージェントのための評価パラダイム
- Abstract要約: 企業資源計画システムは世界中の組織の財務、調達、在庫、顧客業務を運営している。
既存のエンタープライズコンピュータ利用ベンチマークは、プロプライエタリなプラットフォームや、そのようなソフトウェアをシミュレートした近似に依存している。
ERPBenchは、ライブかつ再現可能なシステム上でスクリーンショットのみのエージェントを評価し、各タスクをデータベースの基幹構造値に対してスコアするベンチマークである。
- 参考スコア（独自算出の注目度）: 6.721281472246338
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Computer-use agents that operate through screenshots and simulated actions are advancing rapidly, yet their evaluation remains anchored to general desktop and web tasks. Enterprise Resource Planning systems run the finance, procurement, inventory, and customer operations of organizations worldwide, and pose distinct challenges for computer-use agents: dense interfaces, coordinated multi-step interactions, and errors that alter persistent business records rather than surfacing on screen. Existing enterprise computer-use benchmarks rely on proprietary platforms or on simulated approximations of such software. We introduce ERPBench, a benchmark that evaluates screenshot-only agents on a live and reproducible system and scores each task against ground-truth values in its database. Beyond the benchmark, we present a production-grade harness that gates agent actions behind human approval for safe deployment. Evaluating six closed and open-source agents, we demonstrate that strong general performance does not transfer to enterprise reliability. Even when an agent reaches the right form and saves it, the stored record is often wrong: some agents save in up to 85% of runs but write the correct value in as few as 3%. We further characterize failure modes specific to enterprise workflows.
- Abstract（参考訳）: スクリーンショットやシミュレートされたアクションを通して動作するコンピュータ利用エージェントは急速に進歩しているが、その評価は一般的なデスクトップやWebタスクに固定されている。
エンタープライズリソースプランニングシステムは、世界中の組織の財務、調達、在庫、顧客オペレーションを運営し、密接なインターフェース、協調された多段階のインタラクション、そして画面上に表示されるのではなく永続的なビジネスレコードを変更するエラーといった、コンピュータ利用エージェントに対して、明確な課題を提起する。
既存のエンタープライズコンピュータ利用ベンチマークは、プロプライエタリなプラットフォームや、そのようなソフトウェアをシミュレートした近似に依存している。
ERPBenchは、ライブかつ再現可能なシステム上でスクリーンショットのみのエージェントを評価し、各タスクをデータベースの基幹構造値に対してスコアするベンチマークである。
ベンチマークの他に、安全なデプロイメントのために、人間の承認の背後にあるエージェントアクションをゲートするプロダクショングレードのハーネスも提示します。
6つのクローズドおよびオープンソースエージェントを評価することで、強力な汎用性能が企業信頼性に移行しないことを実証する。
エージェントが正しいフォームに到達して保存しても、格納されたレコードはしばしば間違っている: エージェントは最大85%のランを保存しているが、正しい値を3%で書き込む。
企業ワークフローに特有の障害モードをさらに特徴付ける。
関連論文リスト
- AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - OpenComputer: Verifiable Software Worlds for Computer-Use Agents [50.93029275079928]
OpenComputerは、コンピュータ利用エージェントの検証可能なソフトウェア世界を構築するための検証済みのフレームワークである。
OpenComputerは現在の形式で、ブラウザ、オフィスツール、クリエイティブソフトウェア、開発環境、ファイルマネージャ、通信アプリケーションにまたがる、33のデスクトップアプリケーションと1,000の最終的なタスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-19T12:40:29Z) - Step-level Optimization for Efficient Computer-use Agents [51.29573359027217]
我々は、強力なコンピュータ利用エージェントは、実際は高価で遅いと論じている。
本稿では,コンピュータ利用エージェントのためのイベント駆動ステップレベルカスケードを提案する。
論文 参考訳（メタデータ） (2026-04-29T19:59:36Z) - EntWorld: A Holistic Environment and Benchmark for Verifiable Enterprise GUI Agents [12.7922877987936]
EntWorldは6つの代表的なエンタープライズドメインにわたる1,756タスクからなる大規模なベンチマークである。
基礎となるデータベーススキーマからビジネスロジックを直接リバースエンジニアリングするスキーマ基底タスク生成フレームワークを提案する。
現状のモデルでは,EntWorldで47.61%の成功率を達成した。
論文 参考訳（メタデータ） (2026-01-25T06:58:15Z) - SCUBA: Salesforce Computer Use Benchmark [63.66753028386581]
SCUBAは、Salesforceプラットフォーム内の顧客関係管理(CRM)上のコンピュータ利用エージェントを評価するために設計されたベンチマークである。
SCUBAには、実際のユーザインタビューから派生した300のタスクインスタンスが含まれており、3つの主要なペルソナ、プラットフォーム管理者、セールス担当者、サービスエージェントで構成されている。
ゼロショット設定とデモ拡張設定の両方で、多様なエージェントのセットをベンチマークします。
論文 参考訳（メタデータ） (2025-09-30T16:48:49Z) - SetupBench: Assessing Software Engineering Agents' Ability to Bootstrap Development Environments [2.184775414778289]
環境ブートストラップスキルを分離するベンチマークである setupbench を導入する。
私たちのタスクは7つの言語エコシステム、5つのデータベースエンジン、マルチサービスオーケストレーションシナリオにまたがっています。
特にリポジトリのセットアップ(38.9-57.4%)とローカルデータベースの設定(20.0-53.3%)に課題がある。
論文 参考訳（メタデータ） (2025-07-11T22:45:07Z) - Agent S: An Open Agentic Framework that Uses Computers Like a Human [31.16046798529319]
我々は、GUI(Graphical User Interface)を通じてコンピュータとの自律的なインタラクションを可能にするオープンエージェントフレームワークであるAgent Sを提案する。
Agent Sは、ドメイン固有の知識の取得、長いタスクの水平線の計画、動的で一様でないインターフェイスの処理という、コンピュータタスクの自動化における3つの重要な課題に対処することを目指している。
論文 参考訳（メタデータ） (2024-10-10T17:43:51Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳（メタデータ） (2024-05-06T17:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。