Fugu-MT 論文翻訳(概要): CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents

論文の概要: CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents

arxiv url: http://arxiv.org/abs/2609.05374v1
Date: Fri, 04 Sep 2026 17:26:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:24.138381
Title: CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents
Title（参考訳）: CUA-Universe: ハイブリッドGUI+CLIエージェントのためのスケーラブルで動的環境
Abstract要約: コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩してきたが、いまだGUIを通して動作している。本稿では,スケーラブルな環境間パイプラインCUA-Universeを紹介する。
参考スコア（独自算出の注目度）: 57.098070497654874
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Computer-use agents have advanced on benchmarks like OSWorld and AndroidWorld, but still act mostly through the GUI, often producing inefficient trajectories. Real-world computer work is hybrid, combining visual-state inspection with precise, high-throughput command-line operations, so capable agents must coordinate both modalities over shared application state. Yet scalable hybrid environments remain scarce because supporting both GUI and CLI over real applications typically requires substantial manual engineering for each application. Existing agents also struggle to use the two interfaces complementarily: CLI-native agents lack visual perception for tasks involving interface state or layout, while GUI-native agents are inefficient for operations better executed through commands. We introduce CUA-Universe, a scalable environment-to-data pipeline that turns real desktop software into hybrid GUI+CLI environments. App-Forge adapts applications into reproducible VMs and command-line surfaces it discovers, wraps, or generates, scaling to 16 applications; Task-Weave synthesizes diverse hybrid tasks of controllable difficulty from reusable operations over seed files; and Path-Steer steers rollouts along efficient hybrid paths and harvests verified trajectories for post-training. Training on this data shifts behavior from inefficient GUI interaction and brittle CLI scripting toward effective GUI+CLI orchestration. Our 9B model improves both success and efficiency on CUA-Verse (Score +39.3 pts; -37% steps, -60% tokens), OSWorld (SR +16.8 pts; -57% steps, -44% tokens), and OSWorld-MCP (Score +7.84 pts; -27% steps, -30% tokens). CUA-Universe provides a scalable path toward more capable and efficient computer-use agents.
Abstract（参考訳）: コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩しているが、GUIを通して動作し、しばしば非効率的な軌道を生成する。実世界のコンピュータ作業はハイブリッドであり、視覚状態検査と高精度で高スループットのコマンドライン操作を組み合わせるため、有能なエージェントは共有されたアプリケーション状態に対して両方のモダリティを調整する必要がある。しかし、実際のアプリケーション上でGUIとCLIの両方をサポートするため、拡張性のあるハイブリッド環境は依然として不足している。既存のエージェントは2つのインターフェースを補完的に使用するのに苦労する。CLIネイティブエージェントはインターフェースの状態やレイアウトを含むタスクに対する視覚的認識を欠いている。 CUA-Universeはスケーラブルな環境からデータへのパイプラインであり、実際のデスクトップソフトウェアをハイブリッドGUI+CLI環境に変換する。 App-Forgeはアプリケーションを再現可能なVMや、それが検出し、ラップし、あるいは生成するコマンドラインサーフェスに適応する。Task-Weaveは、シードファイル上の再利用可能な操作から制御し難いさまざまなハイブリッドタスクを合成する。Path-Steerは、効率的なハイブリッドパスに沿ってロールアウトし、ポストトレーニングのための検証されたトラジェクトリを回収する。このデータのトレーニングは、非効率的なGUIインタラクションや脆いCLIスクリプトから、効果的なGUI+CLIオーケストレーションへの振る舞いを変える。我々の9BモデルはCUA-Verse(スコア +39.3 pts; -37% ステップ -60% トークン)、OSWorld(SR +16.8 pts; -57% ステップ -4% トークン)、OSWorld-MCP(スコア +7.84 プット; -27% ステップ -30% トークン)の成功と効率を改善する。 CUA-Universeは、より有能で効率的なコンピュータ利用エージェントへのスケーラブルなパスを提供する。

関連論文リスト

EnvCraft: Synthesizing Executable Environments in Agentic RL for Claw-like Agent [21.572853994120806]
EnvCraftは、実行可能な環境とスケーラブルなトレーニングデータを合成する自動化フレームワークである。エージェントRL訓練のための約20Kの複雑なタスクからなる139の対話環境を合成する。
論文参考訳（メタデータ） (2026-09-04T10:13:41Z)
GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents [57.03233891304263]
18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
論文参考訳（メタデータ） (2026-06-22T17:05:07Z)
WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces [27.11445886768225]
WeaveBenchは,8つの実世界の作業領域に114のタスクを持つ,長期にわたるハイブリッドインターフェースベンチマークである。デプロイされたCLIエージェントランタイム内の実際のUbuntuデスクトップ上でこれらのタスクを評価し、最小限のデスクトップコントロールプラグインで拡張します。フロンティアのモデルと実行時のペアリング全体では、最高のPassRateは41.2%にしか達せず、ベンチマークは飽和状態には程遠い。
論文参考訳（メタデータ） (2026-06-08T12:39:23Z)
AppAgent-Claw: CLI Is All You Need for GUI Automation [9.116481317329493]
AppAgent-Clawは、GUIを実行時推論なしで信頼性のある再利用可能なスキルに変換するデモ駆動システムである。視覚的なシフトを処理するためにレイヤ化されたローカライゼーション戦略と、スクリーン上の意図された効果を保証するためのバリデーション結合実行モデルを採用している。
論文参考訳（メタデータ） (2026-04-15T17:02:09Z)
ClawGUI: A Unified Framework for Training, Evaluating, and Deploying GUI Agents [54.04035382782041]
textbfClawGUI-RLは、並列仮想環境と実際の物理デバイスの両方をサポートする最初のオープンソースのGUIエージェントRLインフラストラクチャを提供する。 textbfClawGUI-Evalは6つのベンチマークと11以上のモデルで完全に標準化された評価パイプラインを実行する。 textbfClawGUI-Agentは、12以上のチャットプラットフォームを通じて、Android、HarmonyOS、iOSにトレーニングされたエージェントを提供し、ハイブリッドCLI-GUIコントロールとパーソナライズされたパーソナライズされたメモリを提供する。
論文参考訳（メタデータ） (2026-04-13T17:52:04Z)
GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training [30.675339113121225]
提案するGUI-GENESIS(GUI-GENESIS)は,効率の良いGUIトレーニング環境を,評価可能な報酬で自動生成するフレームワークである。 GUI-GENESISは、実際のアプリケーションのトレーニングと比較して、環境のレイテンシを10倍削減し、エポック毎のコストを28,000ドル以上削減する。
論文参考訳（メタデータ） (2026-02-15T10:58:01Z)
UltraCUA: A Foundation Model for Computer Use Agents with Hybrid Action [77.63125913907771]
本稿では,GUIプリミティブと高レベルのプログラムツールコールのギャップを埋める基盤モデルであるUltraCUAを提案する。 7Bおよび32Bモデルによる実験は、最先端のエージェントよりも大幅に改善されている。
論文参考訳（メタデータ） (2025-10-20T17:48:26Z)
CoAct-1: Computer-using Agents with Coding as Actions [94.99657662893338]
CoAct-1はGUIベースの制御と直接プログラム実行を組み合わせた新しいマルチエージェントシステムである。我々は、CoAct-1が60.76%の最先端の成功率を達成したOSWorldベンチマークで、我々のシステムを評価した。
論文参考訳（メタデータ） (2025-08-05T21:33:36Z)
MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文参考訳（メタデータ） (2025-07-08T07:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。