論文の概要: GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2606.24551v1
- Date: Mon, 22 Jun 2026 17:05:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.965441
- Title: GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents
- Title（参考訳）: GUI vs. CLI: スクリーンオンリーおよびスキル媒介されたコンピュータ利用エージェントにおける実行用ブートネック
- Authors: Xiao Zhou, Siyue Zhang, Yilun Zhao, Jinbiao Wei, Tingyu Song, Arman Cohan, Chen Zhao,
- Abstract要約: 18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。
最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
- 参考スコア（独自算出の注目度）: 57.03233891304263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.
- Abstract（参考訳）: コンピュータ利用エージェントは、グラフィカルインターフェースまたはプログラム的なコマンドインターフェイスを通じてソフトウェアタスクを実行することができるが、既存の評価では、タスク、初期状態、検証者、許容されたアクションの違いと相互作用のモダリティが一致している。
我々は18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを紹介し、スクリーンのみのGUIエージェントとスキルを介するCLIエージェントが、モダリティネイティブなアクションに制限されたまま、同じ目標、状態、ファイナルステート検証を受ける。
この制御された設定では、最強のGUIエージェントは59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回っている。
これらの結果は、GUIとCLIは異なる実行ボトルネックを露呈していることを示唆している。 GUIエージェントは、長期にわたるワークフローに対する信頼性の高い基盤的なインタラクションによって制限されているのに対して、CLIエージェントは、スキルインターフェースのカバレッジとスケーラビリティによって制限されている。
関連論文リスト
- WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces [27.11445886768225]
WeaveBenchは,8つの実世界の作業領域に114のタスクを持つ,長期にわたるハイブリッドインターフェースベンチマークである。
デプロイされたCLIエージェントランタイム内の実際のUbuntuデスクトップ上でこれらのタスクを評価し、最小限のデスクトップコントロールプラグインで拡張します。
フロンティアのモデルと実行時のペアリング全体では、最高のPassRateは41.2%にしか達せず、ベンチマークは飽和状態には程遠い。
論文 参考訳（メタデータ） (2026-06-08T12:39:23Z) - Syll: Open-Source Personal Automation with Cross-Surface Execution [73.77463150026068]
オープンソースで自己ホスト型マルチモーダルエージェントであるSyllを紹介します。
Syllは、MPP/APIツール、CLI実行、モジュールランタイムでのビジュアルコントロールを統合する。
私たちの実装は、Adobe Photoshop、Adobe Audition、Stardew Valley、Finderなどのプロダクションデスクトップアプリケーションで検証されています。
論文 参考訳（メタデータ） (2026-05-28T17:59:31Z) - AppAgent-Claw: CLI Is All You Need for GUI Automation [9.116481317329493]
AppAgent-Clawは、GUIを実行時推論なしで信頼性のある再利用可能なスキルに変換するデモ駆動システムである。
視覚的なシフトを処理するためにレイヤ化されたローカライゼーション戦略と、スクリーン上の意図された効果を保証するためのバリデーション結合実行モデルを採用している。
論文 参考訳（メタデータ） (2026-04-15T17:02:09Z) - CoAct-1: Computer-using Agents with Coding as Actions [94.99657662893338]
CoAct-1はGUIベースの制御と直接プログラム実行を組み合わせた新しいマルチエージェントシステムである。
我々は、CoAct-1が60.76%の最先端の成功率を達成したOSWorldベンチマークで、我々のシステムを評価した。
論文 参考訳（メタデータ） (2025-08-05T21:33:36Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - You Only Look at Screens: Multimodal Chain-of-Action Agents [37.118034745972956]
Auto-GUIは、インターフェースと直接対話するマルチモーダルソリューションである。
そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。
我々は,30$Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
論文 参考訳（メタデータ） (2023-09-20T16:12:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。