論文の概要: OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents

• arxiv url: http://arxiv.org/abs/2506.16042v1
• Date: Thu, 19 Jun 2025 05:26:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.94935
• Title: OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents
• Title（参考訳）: OSWorld-Human: コンピュータ利用エージェントの効率をベンチマークする
• Authors: Reyna Abhyankar, Qi Qi, Yiying Zhang,
• Abstract要約: 我々は、コンピュータ利用AIのフラッグシップベンチマークであるOSWorld上で、コンピュータ利用エージェントの時間的パフォーマンスに関する最初の研究を行う。 計画とリフレクションのための大規模なモデル呼び出しは、全体のレイテンシの大部分を占めています。 次に、OSWorld-HumanというオリジナルのOSWorldデータセットを手動でアノテートしたバージョンを構築します。
• 参考スコア（独自算出の注目度）: 6.726770697869473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI is being leveraged to solve a variety of computer-use tasks involving desktop applications. State-of-the-art systems have focused solely on improving accuracy on leading benchmarks. However, these systems are practically unusable due to extremely high end-to-end latency (e.g., tens of minutes) for tasks that typically take humans just a few minutes to complete. To understand the cause behind this and to guide future developments of computer agents, we conduct the first study on the temporal performance of computer-use agents on OSWorld, the flagship benchmark in computer-use AI. We find that large model calls for planning and reflection account for the majority of the overall latency, and as an agent uses more steps to complete a task, each successive step can take 3x longer than steps at the beginning of a task. We then construct OSWorld-Human, a manually annotated version of the original OSWorld dataset that contains a human-determined trajectory for each task. We evaluate 16 agents on their efficiency using OSWorld-Human and found that even the highest-scoring agents on OSWorld take 1.4-2.7x more steps than necessary.
• Abstract（参考訳）: ジェネレーティブAIは、デスクトップアプリケーションを含むさまざまなコンピュータ利用タスクを解決するために利用されています。 最先端のシステムは、主要なベンチマークの精度の向上にのみ焦点を絞っている。 しかしながら、これらのシステムは、通常、人間が完了するのに数分しかかからないタスクに対して、非常に高いエンドツーエンドのレイテンシ(例えば、数十分)のために、事実上使用不可能である。 この原因を解明し,コンピュータエージェントの今後の発展を導くため,コンピュータ利用AIのフラッグシップベンチマークであるOSWorld上でのコンピュータ利用エージェントの時間的パフォーマンスに関する最初の研究を行う。 エージェントはタスクの完了により多くのステップを使用するので、各ステップはタスクの開始時にステップよりも3倍の時間を要する可能性がある。 次に、OSWorld-HumanというオリジナルのOSWorldデータセットを手動でアノテートしたバージョンを構築します。 我々は、OSWorld-Humanを用いて、その効率性について16のエージェントを評価し、OSWorld上の最高のエージェントでさえ、必要以上に1.4-2.7倍のステップを要すことを発見した。

関連論文リスト

• Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents [30.253353551910404]
  コンピュータ利用エージェントは、コンピュータやモバイルデバイスのグラフィカルユーザインタフェース(GUI)と直接対話することで、デジタルタスクを自動化する。 本稿では,様々なジェネラリストおよびスペシャリストモデルにまたがって認知的責任を委譲する新しい構成フレームワークであるAgens S2を紹介する。 Agent S2は、3つの著名なコンピュータ使用ベンチマーク上でのSOTA(State-of-the-art)のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2025-04-01T15:40:27Z)
• STEVE: A Step Verification Pipeline for Computer-use Agent Training [84.24814828303163]
  STEVEは、コンピュータ使用エージェントトレーニングのためのステップ検証パイプラインである。 GPT-4oは、動作実行前後の画面に基づいて、軌跡の各ステップの正当性を検証するために使用される。 我々のエージェントは、軌道内での正と負の両方の作用を利用して微調整を監督する。
  論文  参考訳（メタデータ） (2025-03-16T14:53:43Z)
• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
  我々は、デジタルワーカーと同じような方法で世界と対話するAIエージェントを評価するためのベンチマークであるTheAgentCompanyを紹介する。 最も競争力のあるエージェントは、タスクの30%を自律的に完了させることができる。 これは、実際の職場の設定でLMエージェントをシミュレートすることで、タスク自動化に関する微妙な絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments [87.41051677852231]
  マルチモーダルエージェントのための,第1世代のスケーラブルな実コンピュータ環境であるOSWorldを紹介する。 OSWorldは、オープンエンドのコンピュータタスクを評価する統合されたコンピュータ環境として機能する。 オープンドメインの実際のWebおよびデスクトップアプリケーション、OSファイルI/O、複数のアプリケーションにまたがる369のコンピュータタスクのベンチマークを作成します。
  論文  参考訳（メタデータ） (2024-04-11T17:56:05Z)
• OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web [43.60736044871539]
  エージェントがプログラムを生成する能力を評価するためのベンチマークであるOmniACTを紹介した。 このデータセットは、「次の曲を再生する」といった基本的なタスクと、「ジョン・ドーにメールを送る」といった長い水平線タスクで構成されている。 我々のベンチマークは、コンピュータタスクの自動化における言語モデルエージェントの進捗を計測し、評価するプラットフォームを提供する。
  論文  参考訳（メタデータ） (2024-02-27T14:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。