論文の概要: HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents

• arxiv url: http://arxiv.org/abs/2609.38008v1
• Date: Tue, 29 Sep 2026 16:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.763715
• Title: HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents
• Title（参考訳）: HybridCUA: コンピュータ利用エージェントのためのGUIとCLIのオーケストレーションを学ぶ
• Abstract要約: コンピュータ利用エージェント(CUA)は、デジタルタスクを完了させる強力な能力を示している。 次世代CUAはGUIインタラクションとコマンドラインインターフェース(CLI)を組み合わせるべきだと我々は主張する。 重要な課題は、現在のモデルがタスク実行中にCLIを使用するタイミングや使い方を知らないことだ。
• 参考スコア（独自算出の注目度）: 18.355727744821355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer use agents (CUAs) have demonstrated strong capabilities in completing digital tasks. However, existing CUAs either rely solely on graphical user interface (GUI) interactions, which are often inefficient and error prone, or augment GUI interactions with application specific APIs or tools, which require substantial engineering effort and are difficult to scale across applications. We argue that the next generation of CUAs should combine GUI interactions with the command line interface (CLI), leveraging the generality of the GUI and the efficiency of shell commands. A critical challenge, however, is that current models do not know when or how to use the CLI during task execution. To address this challenge, we develop a data construction pipeline that produces three types of trajectories: GUI only, CLI only, and interleaved GUI and CLI trajectories. This pipeline results in HybridCUA-8K, containing 5K hybrid trajectories and 3K verified RLVR tasks. Building on these data, we propose a training framework with two stages: supervised fine tuning on the constructed trajectories, followed by reinforcement learning with our CLI aware rewards that encourages agents to use the CLI selectively and reliably. Experiments show that HybridCUA-9B achieves 53.6% accuracy on OSWorld, improving over the base model by 14.8 percentage points, and improves performance on WindowsAgentArena by 4.0 percentage points. These results demonstrate the effectiveness and cross platform generalizability of the hybrid GUI and CLI paradigm for computer use agents.
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、デジタルタスクを完了させる強力な能力を示している。 しかし、既存のCUAはグラフィカルなユーザーインターフェイス(GUI)のインタラクションのみに依存しており、しばしば非効率でエラーを起こしやすい。 次世代CUAは,GUIの汎用性とシェルコマンドの効率を活かして,コマンドラインインタフェース(CLI)とGUIインタラクションを組み合わせるべきである。 しかし、重要な課題は、現在のモデルがタスク実行中にCLIを使うタイミングや使い方を知らないことである。 この課題に対処するため,GUIのみ,CLIのみ,GUIとCLIをインターリーブした3種類のトラジェクトリを生成するデータ構築パイプラインを開発した。 このパイプラインは、5Kハイブリッド軌道と3K検証されたRLVRタスクを含むHybridCUA-8Kを生成する。 これらのデータに基づいて、構築された軌道の微調整を監督するトレーニングフレームワークと、エージェントが選択的かつ確実にCLIを使用するように促すCLI認識報酬による強化学習の2段階を提案する。 実験の結果、HybridCUA-9BはOSWorldで53.6%の精度を達成し、ベースモデルを14.8ポイント改善し、WindowsAgentArenaのパフォーマンスを4.0ポイント改善した。 これらの結果は、コンピュータ利用エージェントのためのハイブリッドGUIおよびCLIパラダイムの有効性とクロスプラットフォームの汎用性を示している。

関連論文リスト

• CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents [57.098070497654874]
  コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩してきたが、いまだGUIを通して動作している。 本稿では,スケーラブルな環境間パイプラインCUA-Universeを紹介する。
  論文  参考訳（メタデータ） (2026-09-04T17:26:18Z)
• GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents [57.03233891304263]
  18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。 最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
  論文  参考訳（メタデータ） (2026-06-22T17:05:07Z)
• WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces [27.11445886768225]
  WeaveBenchは,8つの実世界の作業領域に114のタスクを持つ,長期にわたるハイブリッドインターフェースベンチマークである。 デプロイされたCLIエージェントランタイム内の実際のUbuntuデスクトップ上でこれらのタスクを評価し、最小限のデスクトップコントロールプラグインで拡張します。 フロンティアのモデルと実行時のペアリング全体では、最高のPassRateは41.2%にしか達せず、ベンチマークは飽和状態には程遠い。
  論文  参考訳（メタデータ） (2026-06-08T12:39:23Z)
• UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization [70.85564601986263]
  実験の結果, UI-Copilot-7BはMemGUI-Benchに挑戦する上で最先端の性能を発揮することがわかった。 UI-Copilot-7BはAndroidWorldのQwenベースモデルに対して17.1%の絶対的な改善を提供する。
  論文  参考訳（メタデータ） (2026-04-15T12:55:46Z)
• ClawGUI: A Unified Framework for Training, Evaluating, and Deploying GUI Agents [54.04035382782041]
  textbfClawGUI-RLは、並列仮想環境と実際の物理デバイスの両方をサポートする最初のオープンソースのGUIエージェントRLインフラストラクチャを提供する。 textbfClawGUI-Evalは6つのベンチマークと11以上のモデルで完全に標準化された評価パイプラインを実行する。 textbfClawGUI-Agentは、12以上のチャットプラットフォームを通じて、Android、HarmonyOS、iOSにトレーニングされたエージェントを提供し、ハイブリッドCLI-GUIコントロールとパーソナライズされたパーソナライズされたメモリを提供する。
  論文  参考訳（メタデータ） (2026-04-13T17:52:04Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• ZeroGUI: Automating Online GUI Learning at Zero Human Cost [75.21128388931945]
  我々は、ZeroGUIを提案する。ZeroGUIは、Zeroの人的コストでGUIエージェントのトレーニングを自動化する、スケーラブルでオンライン学習フレームワークである。 具体的には、(i)VLMベースの自動タスク生成を統合して、現在の環境状態から多様なトレーニング目標を生成するとともに、(ii)手作り評価機能なしでタスク成功を評価するためのVLMベースの自動報酬推定と、(iii)GUI環境と継続的に対話し学習するための2段階オンライン強化学習を統合する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。