Fugu-MT 論文翻訳(概要): DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration

論文の概要: DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration

arxiv url: http://arxiv.org/abs/2606.03103v1
Date: Tue, 02 Jun 2026 03:42:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-03 22:00:04.736786
Title: DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration
Title（参考訳）: DeskCraft: プロフェッショナルワークフローとヒューマン・イン・ザ・ループコラボレーションによるデスクトップエージェントのベンチマーク
Authors: Wenkai Wang, Tao Xiong, Jingchen Ni, Yunpeng Bao, Xiyun Li, Tianqi Liu, Hongcan Guo, Zilong Huang, Shengyu Zhang,
Abstract要約: DeskCraftはGUIベンチマークで、長い水平方向の創造性とエンジニアリングと積極的な人間とエージェントのコラボレーションをターゲットにしている。タスクを多段階の難易度分類に編成し、長い水平方向タスクは50以上の実行ステップを必要とする。それは、人間とエージェントのコラボレーションを、ミッドターンとポストターンの交換をカバーするインタラクションプロトコルにフォーマル化する。
参考スコア（独自算出の注目度）: 20.854007430883357
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Real-world professional desktop workflows in specialized creative and engineering software unfold over long horizons and often require human-in-the-loop coordination, where agents proactively seek necessary information and users provide additional instructions, clarifications, feedback, or corrections as the task progresses. Yet existing desktop GUI benchmarks mostly reduce this setting to short, simplified tasks with all user instructions provided upfront. To address this issue, we introduce DeskCraft, a desktop GUI benchmark targeting long horizon creative and engineering workflows and proactive human-agent collaboration. DeskCraft organizes tasks into a multilevel difficulty taxonomy, with long horizon tasks requiring over 50 execution steps, and covers professional creative software across design, video, audio, and 3D creation. Furthermore, DeskCraft formalizes human-agent collaboration into an interaction protocol covering mid-turn and post-turn exchanges. Mid-turn interaction captures both agent-initiated clarification under uncertainty and user-initiated interruption during execution, while post-turn interaction accommodates user-driven feedback after the agent signals completion, together spanning the full space of realistic collaboration patterns. We evaluate 18 proprietary and open source agents on 538 tasks and find that GPT-5.4 reaches 31.6% on standard tasks and 27.6% on interactive tasks. Further analyses reveal persistent failures in long horizon workflow delivery and proactive clarification. We will open-source all evaluation codes, tasks, and data at https://github.com/mrwwk/DeskCraft.
Abstract（参考訳）: 専門的なクリエイティブおよびエンジニアリングソフトウェアにおける現実のプロのデスクトップワークフローは、長い地平線を越えて展開し、しばしば人間とループの調整を必要とし、エージェントは積極的に必要な情報を求め、ユーザーはタスクが進行するにつれて追加の指示、明確化、フィードバック、修正を行う。しかし、既存のデスクトップGUIベンチマークは、この設定を、前もって提供されたすべてのユーザー指示で、短くて単純化されたタスクに減らしている。この問題に対処するために、DeskCraftを紹介します。DeskCraftは、長い水平方向の創造とエンジニアリングのワークフローと、アクティブな人間とエージェントのコラボレーションをターゲットにしたデスクトップGUIベンチマークです。 DeskCraftはタスクを多段階の難易度分類に整理し、50以上の実行ステップを必要とする長い水平方向タスクと、デザイン、ビデオ、オーディオ、そして3D制作のプロのクリエイティブなソフトウェアをカバーしている。さらにDeskCraftは、人間とエージェントのコラボレーションを、ミッドターンとポストターンの交換をカバーするインタラクションプロトコルに形式化している。ミッドターンインタラクションは、不確実性の下でのエージェント開始の明確化と実行中のユーザ開始の中断の両方をキャプチャする一方、ポストターンインタラクションは、エージェントが完了した後にユーザ主導のフィードバックを許容し、現実的なコラボレーションパターンの完全な空間にまたがる。 538タスクで18のプロプライエタリおよびオープンソースエージェントを評価し、GPT-5.4が標準タスクで31.6%、対話タスクで27.6%に達することを発見した。さらなる分析により、長い水平ワークフローのデリバリとプロアクティブな明確化において、永続的な失敗が明らかになる。私たちは、すべての評価コード、タスク、データをhttps://github.com/mrwwk/DeskCraft.comでオープンソース化します。

論文の概要: DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration

関連論文リスト