論文の概要: SCUBA: Salesforce Computer Use Benchmark

• arxiv url: http://arxiv.org/abs/2509.26506v1
• Date: Tue, 30 Sep 2025 16:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.214772
• Title: SCUBA: Salesforce Computer Use Benchmark
• Title（参考訳）: SCUBA: Salesforce Computer Use Benchmark
• Authors: Yutong Dai, Krithika Ramakrishnan, Jing Gu, Matthew Fernandez, Yanqi Luo, Viraj Prabhu, Zhenyu Hu, Silvio Savarese, Caiming Xiong, Zeyuan Chen, Ran Xu,
• Abstract要約: SCUBAは、Salesforceプラットフォーム内の顧客関係管理(CRM)上のコンピュータ利用エージェントを評価するために設計されたベンチマークである。 SCUBAには、実際のユーザインタビューから派生した300のタスクインスタンスが含まれており、3つの主要なペルソナ、プラットフォーム管理者、セールス担当者、サービスエージェントで構成されている。 ゼロショット設定とデモ拡張設定の両方で、多様なエージェントのセットをベンチマークします。
• 参考スコア（独自算出の注目度）: 63.66753028386581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SCUBA, a benchmark designed to evaluate computer-use agents on customer relationship management (CRM) workflows within the Salesforce platform. SCUBA contains 300 task instances derived from real user interviews, spanning three primary personas, platform administrators, sales representatives, and service agents. The tasks test a range of enterprise-critical abilities, including Enterprise Software UI navigation, data manipulation, workflow automation, information retrieval, and troubleshooting. To ensure realism, SCUBA operates in Salesforce sandbox environments with support for parallel execution and fine-grained evaluation metrics to capture milestone progress. We benchmark a diverse set of agents under both zero-shot and demonstration-augmented settings. We observed huge performance gaps in different agent design paradigms and gaps between the open-source model and the closed-source model. In the zero-shot setting, open-source model powered computer-use agents that have strong performance on related benchmarks like OSWorld only have less than 5\% success rate on SCUBA, while methods built on closed-source models can still have up to 39% task success rate. In the demonstration-augmented settings, task success rates can be improved to 50\% while simultaneously reducing time and costs by 13% and 16%, respectively. These findings highlight both the challenges of enterprise tasks automation and the promise of agentic solutions. By offering a realistic benchmark with interpretable evaluation, SCUBA aims to accelerate progress in building reliable computer-use agents for complex business software ecosystems.
• Abstract（参考訳）: SCUBAはSalesforceプラットフォーム内の顧客関係管理(CRM)ワークフロー上でコンピュータ利用エージェントを評価するために設計されたベンチマークである。 SCUBAには、実際のユーザインタビューから派生した300のタスクインスタンスが含まれており、3つの主要なペルソナ、プラットフォーム管理者、セールス担当者、サービスエージェントで構成されている。 タスクはエンタープライズソフトウェアUIナビゲーション、データ操作、ワークフローの自動化、情報検索、トラブルシューティングなど、さまざまなエンタープライズクリティカルな機能をテストする。 リアリズムを保証するため、SCUBAはSalesforceサンドボックス環境で動作し、並列実行とマイルストーンの進捗を捉えるためのきめ細かい評価指標をサポートする。 ゼロショット設定とデモ拡張設定の両方で、多様なエージェントのセットをベンチマークします。 エージェント設計のパラダイムやオープンソースモデルとクローズドソースモデルとのギャップにおいて,大きなパフォーマンスギャップが観察された。 ゼロショット設定では、OSWorldのような関連するベンチマークで強力なパフォーマンスを持つオープンソースモデル駆動のコンピュータ使用エージェントは、SCUBAで5倍未満の成功率しか持たないが、クローズドソースモデルで構築されたメソッドは、依然として最大39%のタスク成功率を持つことができる。 デモ強化設定では、タスク成功率を50%に改善でき、同時に時間とコストをそれぞれ13%、コストを16%削減できる。 これらの結果は、エンタープライズタスク自動化の課題とエージェントソリューションの約束の両方を浮き彫りにしている。 SCUBAは、解釈可能な評価を伴う現実的なベンチマークを提供することで、複雑なビジネスソフトウェアエコシステムのための信頼性の高いコンピュータ利用エージェントの構築を加速することを目指している。

関連論文リスト

• GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging [41.754784344572286]
  実際のシナリオでコードエージェントを評価するベンチマークであるGitTaskBenchをリリースしています。 各タスクは、自動化された人為的な評価ハーネスと関連するリポジトリをペアリングする。 また,エージェント性能の経済的利益を定量化するためのα値指標を提案する。
  論文  参考訳（メタデータ） (2025-08-26T12:48:05Z)
• eSapiens: A Platform for Secure and Auditable Retrieval-Augmented Generation [10.667949307405983]
  eSapiensはAI(AI)プラットフォームで、ビジネス指向のトリフェクタ(プロプライエタリなデータ、運用、主要な言語モデル(LLM))を中心に開発されている。 eSapiensは、企業がAI資産を完全にコントロールし、AI知識の保持とデータセキュリティのためのすべてを社内に保持する。
  論文  参考訳（メタデータ） (2025-07-13T11:41:44Z)
• SetupBench: Assessing Software Engineering Agents' Ability to Bootstrap Development Environments [2.184775414778289]
  環境ブートストラップスキルを分離するベンチマークである setupbench を導入する。 私たちのタスクは7つの言語エコシステム、5つのデータベースエンジン、マルチサービスオーケストレーションシナリオにまたがっています。 特にリポジトリのセットアップ(38.9-57.4%)とローカルデータベースの設定(20.0-53.3%)に課題がある。
  論文  参考訳（メタデータ） (2025-07-11T22:45:07Z)
• Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs [19.766885088032932]
  ソフトウェアエンジニアリング(SWE)は、次世代のLLMエージェントにとって重要なテストベッドとして登場した。 既存のデータセットのほとんどは、わずか数千のGitHubソースインスタンスに制限されている。 SWEデータセットのボリュームと多様性の両方を体系的にスケールするインクリメンタルな自動データキュレーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-24T03:53:36Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。