論文の概要: GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2606.24551v1
- Date: Mon, 22 Jun 2026 17:05:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.965441
- Title: GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents
- Title（参考訳）: GUI vs. CLI: スクリーンオンリーおよびスキル媒介されたコンピュータ利用エージェントにおける実行用ブートネック
- Abstract要約: 18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。
最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
- 参考スコア（独自算出の注目度）: 57.03233891304263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.
- Abstract（参考訳）: コンピュータ利用エージェントは、グラフィカルインターフェースまたはプログラム的なコマンドインターフェイスを通じてソフトウェアタスクを実行することができるが、既存の評価では、タスク、初期状態、検証者、許容されたアクションの違いと相互作用のモダリティが一致している。
我々は18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを紹介し、スクリーンのみのGUIエージェントとスキルを介するCLIエージェントが、モダリティネイティブなアクションに制限されたまま、同じ目標、状態、ファイナルステート検証を受ける。
この制御された設定では、最強のGUIエージェントは59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回っている。
これらの結果は、GUIとCLIは異なる実行ボトルネックを露呈していることを示唆している。 GUIエージェントは、長期にわたるワークフローに対する信頼性の高い基盤的なインタラクションによって制限されているのに対して、CLIエージェントは、スキルインターフェースのカバレッジとスケーラビリティによって制限されている。
関連論文リスト
- CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents [57.098070497654874]
コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩してきたが、いまだGUIを通して動作している。
本稿では,スケーラブルな環境間パイプラインCUA-Universeを紹介する。
論文 参考訳（メタデータ） (2026-09-04T17:26:18Z) - EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。
本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。
共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
論文 参考訳（メタデータ） (2026-09-01T14:14:47Z) - Beyond Sequential Interaction: Benchmarking Parallel Execution and Coordination for GUI Agents [25.221815264081]
ParaGUIBenchは、複数のグラフィカルユーザインタフェース(GUI)エージェントを別々のデスクトップインスタンス上で並列実行および調整するための最初のベンチマークである。
ParaGUIBenchでは、ParaGUIが46.4%の成功率に達し、最強のシリアルベースライン(Claude Sonnet 4.6)を12.9ポイント上回った。
これらの結果から、並列実行は、分解可能な長期GUIタスクにおける成功率と効率の両方を向上し、さらに研究する価値のある方向性を示すことが示唆された。
論文 参考訳（メタデータ） (2026-07-17T12:48:03Z) - WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces [27.11445886768225]
WeaveBenchは,8つの実世界の作業領域に114のタスクを持つ,長期にわたるハイブリッドインターフェースベンチマークである。
デプロイされたCLIエージェントランタイム内の実際のUbuntuデスクトップ上でこれらのタスクを評価し、最小限のデスクトップコントロールプラグインで拡張します。
フロンティアのモデルと実行時のペアリング全体では、最高のPassRateは41.2%にしか達せず、ベンチマークは飽和状態には程遠い。
論文 参考訳（メタデータ） (2026-06-08T12:39:23Z) - Syll: Open-Source Personal Automation with Cross-Surface Execution [73.77463150026068]
オープンソースで自己ホスト型マルチモーダルエージェントであるSyllを紹介します。
Syllは、MPP/APIツール、CLI実行、モジュールランタイムでのビジュアルコントロールを統合する。
私たちの実装は、Adobe Photoshop、Adobe Audition、Stardew Valley、Finderなどのプロダクションデスクトップアプリケーションで検証されています。
論文 参考訳（メタデータ） (2026-05-28T17:59:31Z) - AppAgent-Claw: CLI Is All You Need for GUI Automation [9.116481317329493]
AppAgent-Clawは、GUIを実行時推論なしで信頼性のある再利用可能なスキルに変換するデモ駆動システムである。
視覚的なシフトを処理するためにレイヤ化されたローカライゼーション戦略と、スクリーン上の意図された効果を保証するためのバリデーション結合実行モデルを採用している。
論文 参考訳（メタデータ） (2026-04-15T17:02:09Z) - CoAct-1: Computer-using Agents with Coding as Actions [94.99657662893338]
CoAct-1はGUIベースの制御と直接プログラム実行を組み合わせた新しいマルチエージェントシステムである。
我々は、CoAct-1が60.76%の最先端の成功率を達成したOSWorldベンチマークで、我々のシステムを評価した。
論文 参考訳（メタデータ） (2025-08-05T21:33:36Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - You Only Look at Screens: Multimodal Chain-of-Action Agents [37.118034745972956]
Auto-GUIは、インターフェースと直接対話するマルチモーダルソリューションである。
そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。
我々は,30$Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
論文 参考訳（メタデータ） (2023-09-20T16:12:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。