論文の概要: OSWorld-Pro: Process-based Evaluation for Computer Use Agents

• arxiv url: http://arxiv.org/abs/2609.24890v1
• Date: Mon, 21 Sep 2026 16:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.421258
• Title: OSWorld-Pro: Process-based Evaluation for Computer Use Agents
• Title（参考訳）: OSWorld-Pro: コンピュータ利用エージェントのプロセスベース評価
• Abstract要約: 2800以上のサブゴールを含む300以上のタスクセットであるOSWorld-Proを紹介します。 我々は、OSWorld-Proサブゴールの実現性を評価するために、堅牢な人間対応LDM-Judgesを使用します。 以上の結果から,OSWorld-Pro は最先端の LLM においても困難であることが明らかとなった。
• 参考スコア（独自算出の注目度）: 61.76739286011306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation of Computer-Use Agents (CUAs) is often limited to the final deliverables they create (at the end of hundreds of steps) and assessed with functional verifiers, as seen in OSWorld. However, such evaluation of end-state performance lacks transparency into how and why agents fail in various tasks, obfuscating critical insight for subsequent improvement. For instance, agents that err during keyboard inputs would require a different mitigation strategy from those that fail to precisely provide click-based inputs on the graphical UI. We introduce OSWorld-Pro: a set of over 300 tasks containing over 2800 subgoals to enable the procedural evaluation of CUAs grounded in over 67,000 human annotations. We use robust human-aligned LLM-Judges to evaluate the fulfillment of OSWorld-Pro subgoals and thereby reveal the progress that models make throughout a series of sequentially dependent subgoals. Our findings reveal that OSWorld-Pro is challenging even for state-of-the-art LLMs, with top performers like Claude Opus 5 achieving only 75.7% vs. 83.4% on OSWorld. Furthermore, we identify critical process-focused failure modes of various models (e.g. subgoal-irrelevant actions and click-based mistakes) to provide insights to improve performance and efficiency of CUAs.
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)の評価は、OSWorldで見られるように、彼らが作成した最終成果物(数百ステップの終わり)に限られ、機能検証によって評価されることが多い。 しかし、このようなエンドステートパフォーマンスの評価は、エージェントが様々なタスクで失敗する理由と方法の透明性を欠いているため、その後の改善に批判的な洞察を欠いている。 例えば、キーボード入力中にerrするエージェントは、グラフィカルUIでクリックベースの入力を正確に提供できないエージェントとは異なる緩和戦略を必要とする。 2800以上のサブゴールを含む300以上のタスクセットであるOSWorld-Proを導入し、67,000以上の人間のアノテーションをベースとしたCUAの手続き的評価を可能にする。 我々は, OSWorld-Pro サブゴールの達成度を評価するために, 頑健な人間対応 LLM-Judges を用いて, 連続的に依存するサブゴールを通してモデルが行う進歩を明らかにする。 我々の発見によると、OSWorld-Proは最先端のLLMでも挑戦的であり、Claude Opus 5のようなトップパフォーマーは、OSWorldでわずか75.7%、83.4%しか達成していない。 さらに、CUAの性能と効率を改善するための洞察を提供するために、様々なモデル(例えば、サブゴール非関連アクションやクリックベースの誤り)の重要なプロセス中心の障害モードを特定する。

関連論文リスト

• OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
  OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。 各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
  論文  参考訳（メタデータ） (2026-06-28T17:59:17Z)
• Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation [15.119045051735633]
  自律的な視覚言語評価をGUIエージェントのスケーラブルな監視信号として利用するRLファインチューニングフレームワークを提案する。 自律評価器は不完全であるため、ノイズ補正報酬推定器を導出するノイズ補正報酬チャネルとしてフィードバックをモデル化する。 実験により、補正された評価器の報酬はゼロショットベースラインと生評価器の報酬の両方を上回り、ゼロショット性能で平均12.6ポイント、生評価器の微調整で平均5.1ポイントの成功率を向上させることが示された。
  論文  参考訳（メタデータ） (2026-06-23T12:46:29Z)
• Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam? [90.39633603556767]
  コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。 この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。 我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。 より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
  論文  参考訳（メタデータ） (2026-06-09T14:59:14Z)
• Demonstration-Free Robotic Control via LLM Agents [0.0]
  FAEA (Frontier Agent as Embodied Agent) を導入する。 FAEAは、特権環境の状態アクセスにより、それぞれ84.9%、85.7%、96%の成功率を達成した。 この結果から,汎用エージェントは,熟考的タスクレベルの計画に支配される操作タスクのクラスに十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-28T07:49:35Z)
• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
  Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。 ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。 将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
  論文  参考訳（メタデータ） (2026-01-17T01:29:30Z)
• OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments [87.41051677852231]
  マルチモーダルエージェントのための,第1世代のスケーラブルな実コンピュータ環境であるOSWorldを紹介する。 OSWorldは、オープンエンドのコンピュータタスクを評価する統合されたコンピュータ環境として機能する。 オープンドメインの実際のWebおよびデスクトップアプリケーション、OSファイルI/O、複数のアプリケーションにまたがる369のコンピュータタスクのベンチマークを作成します。
  論文  参考訳（メタデータ） (2024-04-11T17:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。