論文の概要: Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
- arxiv url: http://arxiv.org/abs/2607.28227v1
- Date: Thu, 30 Jul 2026 13:58:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.58297
- Title: Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
- Title（参考訳）: Qwen-UI-Agent Technical Report: toward Next-Generation Real-World Centric Foundation GUI Agents
- Abstract要約: Qwen-UI-Agentは、モバイル、コンピュータ利用、Web、DeepSearch環境にまたがる現実世界のファンデーションGUIエージェントである。
統一されたアクション空間はGUI操作とCLIの実行をインターリーブし、単一のモデルターンでバッチアクションを生成する。
オンラインRLは100回を超える軌道のトレーニングをサポートし、1万以上の環境がロールアウトを加速している。
- 参考スコア（独自算出の注目度）: 27.09949595397669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI agents have the potential to become a general purpose executor over existing digital devices. To advance them toward real-world use, we envision agents that operate reliably on real devices, execute workflows across platforms, combine GUI interaction with CLI execution, complete long-horizon tasks, proactively initiate useful services, and autonomously improve their capabilities with minimal human effort. Guided by this vision, we present Qwen-UI-Agent, a real-world centric foundation GUI agent spanning mobile, computer-use, web, and DeepSearch environments. Qwen-UI-Agent combines diverse sandbox environments with a large-scale real-device mobile runtime. Its unified action space interleaves GUI operations with CLI execution and generates batched actions in a single model turn. An AutoResearch-style data flywheel uses agents to construct tasks and environments, diagnose failures, and plan subsequent iterations. Online RL supports training on trajectories exceeding 100 turns, with over 10,000 concurrent environments accelerating rollout. A lightweight harness layer supports proactive service initiation and stateful workflows across mobile and computer. Across a broad suite of evaluations, Qwen-UI-Agent sets state-of-the-art performance on mobile-use benchmarks while delivering competitive performance on computer- and browser-use tasks against frontier models, including Opus 4.8, Gemini 3.1 Pro, and GPT-5.6 Sol. On mobile use, it achieves 82.1% on MobileWorld, 92.2% on MobileWorld-Real, and 97.5% on AndroidDaily. On computer use, it achieves 79.5% on OSWorld-Verified and a 40.0% partial-progress score on OSWorld-v2. On browser use and GUI grounding, it achieves 73.6% on WebArena and 81.5% on ScreenSpot-Pro, respectively.
- Abstract（参考訳）: GUIエージェントは、既存のデジタルデバイスに対して汎用的なエグゼクティブになる可能性がある。
実際の使用に向けて、実際のデバイス上で確実に動作し、プラットフォーム間でワークフローを実行し、CLI実行とのGUIインタラクションを組み合わせ、長期タスクを完了し、有用なサービスを積極的に開始し、最小限の人的努力で自律的に機能を改善するエージェントを構想する。
このビジョンでガイドされたQwen-UI-Agentは、モバイル、コンピュータ利用、Web、DeepSearch環境にまたがる現実世界中心のGUIエージェントである。
Qwen-UI-Agentは多様なサンドボックス環境と大規模なモバイルデバイスランタイムを組み合わせる。
統一されたアクション空間はGUI操作とCLIの実行をインターリーブし、単一のモデルターンでバッチアクションを生成する。
AutoResearchスタイルのデータフライホイールは、エージェントを使用してタスクと環境を構築し、障害を診断し、その後のイテレーションを計画する。
オンラインRLは100ターンを超えるトラジェクトリのトレーニングをサポートし、1万以上の同時環境がロールアウトを加速している。
軽量のハーネス層は、アクティブなサービス開始とモバイルとコンピュータ間のステートフルワークフローをサポートする。
幅広い評価スイートの中で、Qwen-UI-Agentは、モバイル使用ベンチマークで最先端のパフォーマンスを設定し、Opus 4.8、Gemini 3.1 Pro、GPT-5.6 Solなど、フロンティアモデルに対するコンピュータおよびブラウザ使用タスクの競合性能を提供する。
モバイルではMobileWorldで82.1%、MobileWorld-Realで92.2%、AndroidDailyで97.5%を達成している。
OSWorld-Verifiedでは79.5%、OSWorld-v2では40.0%である。
WebArenaでは73.6%、ScreenSpot-Proでは81.5%を達成している。
関連論文リスト
- UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
論文 参考訳（メタデータ） (2026-08-16T20:59:59Z) - Qwen-CUA: Native Computer Use for (almost) Everything [104.78368489343713]
本稿では,Qwen-CUAについて紹介する。
DOMツリー、アクセシビリティメタデータ、タスク固有のAPIなしで、スクリーンショットのみを観察し、キーボードやマウスのイベントを通じて動作します。
足場は最大20個のアクティブなスクリーンショットを保持し、最近の証拠を保持するために固定サイズのブロックで古い視覚履歴を折り畳む。
論文 参考訳（メタデータ） (2026-08-03T15:04:20Z) - Beyond the GUI Paradigm: Do Mobile Agents Need the Phone Screen? [23.855513024800526]
モバイルプラットフォームは、デバイスサービスとデータへの直接アクセスを提供するコマンドラインインターフェース(CLI)を公開する。
AndroidWorldとMobileWorldの4つのモデルAPIにまたがる3つのコーディングエージェントを,モバイル固有のポストトレーニングなしで評価する。
私たちは、AndroidWorld(103/116タスクCLI解決可能)で88.8%、MobileWorld(101/117タスクCLI解決可能)で86.3%に達するオラクルCLIソリューションを提供しています。
モバイルCLIエージェントに関する将来の研究をサポートするため、エージェントの実装、オラクルソリューション、CLI-Advantageスイート、評価インフラストラクチャをオープンにします。
論文 参考訳（メタデータ） (2026-06-16T02:36:22Z) - ProCUA-SFT Technical Report [80.97543110323542]
コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。
93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。
ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
論文 参考訳（メタデータ） (2026-06-15T22:04:11Z) - Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents [56.72789202127874]
この記事では、最新のネイティブGUIエージェントモデルであるGUI-Owl-1.5を紹介する。
クラウドとエッジのコラボレーションとリアルタイムのインタラクションを実現するために、さまざまなプラットフォーム(デスクトップ、モバイル、ブラウザなど)をサポートしている。
オープンソースモデル上で20以上のGUIベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2026-02-15T01:52:19Z) - MAI-UI Technical Report: Real-World Centric Foundation GUI Agents [33.46555542782679]
MAI-UIは、2B、8B、32B、および235B-A22Bを含む全範囲のGUIエージェントのファミリーである。
ネイティブエージェント-ユーザインタラクションの欠如、UIのみの操作の限界、実用的なデプロイメントアーキテクチャの欠如です。
論文 参考訳（メタデータ） (2025-12-26T14:51:52Z) - UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-02T17:44:45Z) - Mobile-Agent-v3: Fundamental Agents for GUI Automation [59.775510710011325]
本稿では,オープンソースエンド・ツー・エンド・モデル間の最先端性能を実現する基礎的なGUIエージェントモデルを提案する。
汎用GUIエージェントフレームワークであるMobile-Agent-v3を提案し,AndroidWorldでは73.3,OSWorldでは37.7に向上した。
論文 参考訳（メタデータ） (2025-08-21T00:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。