論文の概要: SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

• arxiv url: http://arxiv.org/abs/2605.15777v1
• Date: Fri, 15 May 2026 09:35:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.236835
• Title: SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?
• Title（参考訳）: SaaS-Bench: コンピュータエージェントは現実のSaaSを活用してプロフェッショナルなワークフローを解決できるか?
• Authors: Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang,
• Abstract要約: Computer-Using Agents (CUA)は、より複雑な環境でのアクション実行に対するテキストベースの推論を超えて、大規模言語モデル(LLM)を急速に拡張している。 既存のベンチマークは、しばしば単純化された設定、孤立したタスク、短期水平相互作用に依存している。 6つのプロフェッショナルドメインにわたる23のデプロイ可能なシステム上に構築されたベンチマークには、現実的な作業シナリオに基づく106のタスクが含まれています。 実験の結果、LLMベースのエージェントがベンチで苦労していることが示され、最強のモデルでさえ、エンドツーエンドのタスクの4%未満を完了している。
• 参考スコア（独自算出の注目度）: 29.5539656241093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-Using Agents (CUAs) are rapidly extending large language models (LLMs) beyond text-based reasoning toward action execution in more complex environments, such as web browsers and graphical user interfaces (GUIs). However, existing web and GUI agent benchmarks often rely on simplified settings, isolated tasks, or short-horizon interactions, making it difficult to assess capabilities of agents in realistic professional workflows. Software-as-a-Service (SaaS) environments are a natural choice for CUA evaluation, as they host a large share of modern digital work and naturally involve dynamic system states, cross-application coordination, domain-specific knowledge, and long-horizon dependencies. To this end, we introduce SaaS-Bench, a benchmark built on 23 deployable SaaS systems across six professional domains, containing 106 tasks grounded in realistic work scenarios. These tasks require long-horizon execution, cover both text-only and multimodal settings, and are evaluated with weighted verification checkpoints that measure strict task completion and partial progress. Experiments show that representative LLM-based agents struggle on SaaS-Bench, with even the strongest model completing fewer than 4% of tasks end-to-end, exposing limitations in planning, state tracking, cross-application context maintenance, and error recovery. Code are available at https://github.com/UniPat-AI/SaaS-Bench for reproduction.
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、Webブラウザやグラフィカルユーザインタフェース(GUI)など、より複雑な環境でのアクション実行に向けたテキストベースの推論よりも、大規模言語モデル(LLM)を急速に拡張している。 しかし、既存のWebおよびGUIエージェントベンチマークは、しばしば単純化された設定、孤立したタスク、短期水平相互作用に依存しており、現実的なプロのワークフローにおいてエージェントの能力を評価することは困難である。 ソフトウェア・アズ・ア・サービス(SaaS)環境はCUA評価にとって自然な選択であり、現代のデジタルワークの大部分をホストし、動的システム状態、アプリケーション間の協調、ドメイン固有の知識、長期の依存関係を自然に含んでいる。 この目的のためにSaaS-Benchを紹介します。これは6つの専門ドメインにわたる23のデプロイ可能なSaaSシステム上に構築されたベンチマークで、現実的な作業シナリオに基づく106のタスクを含みます。 これらのタスクは、長い水平実行を必要とし、テキストのみとマルチモーダルの両方をカバーし、厳密なタスク完了と部分的な進捗を計測する重み付き検証チェックポイントで評価される。 実験によると、LLMベースの代表エージェントはSaaS-Benchで苦労しており、最強のモデルでさえ、タスクの4%以下を完了し、計画、状態トラッキング、アプリケーション間のコンテキストのメンテナンス、エラー回復の制限を明らかにしている。 コードは、再現のためにhttps://github.com/UniPat-AI/SaaS-Benchで入手できる。

関連論文リスト

• Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
  ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。 各リリースは、公開ワークフロー要求信号から構築される。 Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
  論文  参考訳（メタデータ） (2026-04-30T17:23:19Z)
• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
  Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。 ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。 将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
  論文  参考訳（メタデータ） (2026-01-17T01:29:30Z)
• VitaBench: Benchmarking LLM Agents with Versatile Interactive Tasks in Real-world Applications [20.065087936770215]
  実世界の環境に根ざした多目的対話型タスクのエージェントを評価するベンチマークであるVitaBenchを紹介する。 VitaBenchは、66のツールを含む、これまでで最も複雑な生命維持シミュレーション環境を持つエージェントを提示する。 総合評価の結果,最も先進的なモデルでさえ,クロスシナリオタスクにおいて30%の成功率しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T16:33:49Z)
• SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents [31.921127664873882]
  LLMベースのエージェントは、SWE(Software Engineering)タスクの増加に期待できる能力を示している。 高品質なトレーニングデータは、特に現実世界のSWEシナリオを反映したデータが少ない。 既存のデータセットはワンショットのコード生成に限られるか、小さな手作業による対話的なタスクのコレクションで構成されている。
  論文  参考訳（メタデータ） (2025-05-26T18:01:00Z)
• AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks? [50.36826943689364]
  言語エージェントがWeb上で現実的で時間を要するタスクを実行できるかどうかを調査する。 自動評価が可能な214の現実的なタスクからなる新しいベンチマークであるAssistantBenchを紹介する。 我々は,AssistantBenchが,言語モデルや検索拡張言語モデルなど,現在のシステムの限界を明らかにすることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T15:18:45Z)
• WebArena: A Realistic Web Environment for Building Autonomous Agents [92.3291458543633]
  我々は、非常に現実的で再現可能な言語誘導エージェントのための環境を構築する。 我々は,Web上でタスクを実行するエージェントに着目し,4つの共通ドメインから完全に機能するWebサイトを持つ環境を構築する。 タスク完了の関数的正しさを評価することに焦点を当てたベンチマークタスクのセットをリリースする。
  論文  参考訳（メタデータ） (2023-07-25T22:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。