論文の概要: UI-Venus-2 Technical Report
- arxiv url: http://arxiv.org/abs/2609.00028v1
- Date: Thu, 27 Aug 2026 17:15:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:35.718186
- Title: UI-Venus-2 Technical Report
- Title（参考訳）: UI-Venus-2技術報告
- Abstract要約: UI-Venus-2は,モバイル,Web,デスクトップ環境で動作する汎用GUIエージェントである。
1) 環境, カバー範囲を170以上のマルチリンガルなモバイルアプリとネイティブなデスクトップオペレーティングシステムに拡大する, (2) 関数基底命令生成のためのディープリサーチパイプラインを利用するタスク, (3) 視覚的キーポイントとマルチモデル投票を用いたトレースレベルおよびサンプルレベルの評価器を採用して, トレーニングのための信頼性の高いRL信号を保証するための検証, という3つの重要な次元を共同で拡張する。
- 参考スコア（独自算出の注目度）: 51.54957558722245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal GUI agents have emerged as a promising paradigm for digital task automation, yet transitioning from benchmark-oriented models to dependable real-world applications remains challenging due to limited environment coverage, brittle task construction, and unreliable reward verification. In this work, we present UI-Venus-2, a general-purpose foundation GUI agent designed to operate across mobile, web, and desktop environments through a unified closed-loop reasoning-action framework. To bridge the gap toward practical deployment, we jointly scale three critical dimensions: (1) Environments, expanding coverage to more than 170 multilingual mobile apps and native desktop operating systems; (2) Tasks, employing a deep-research pipeline for function-grounded instruction generation; and (3) Verification, adopting trace-level and sample-level evaluators with visual keypoints and multi-model voting to ensure reliable RL signals for training. Furthermore, we integrate safety-aware mechanisms to ensure controlled execution of consequential actions. By offering a capable, efficient, and open-source foundation, UI-Venus-2 advances the field toward more generalizable, verifiable, and self-reflective agents for real-world applications.
- Abstract（参考訳）: マルチモーダルGUIエージェントは、デジタルタスク自動化のための有望なパラダイムとして登場したが、ベンチマーク指向モデルから信頼性の高い実世界のアプリケーションへの移行は、限られた環境カバレッジ、不安定なタスク構成、信頼性の低い報酬検証のため、依然として困難である。
本稿では,UI-Venus-2を提案する。UI-Venus-2は,モバイル,Web,デスクトップ環境をまたいで,統一的なクローズドループ推論・アクション・フレームワークを通じて操作する汎用GUIエージェントである。
1) 環境, カバー範囲を170以上のマルチリンガルなモバイルアプリとネイティブなデスクトップオペレーティングシステムに拡大する, (2) 関数基底命令生成のためのディープリサーチパイプラインを利用するタスク, (3) 視覚的キーポイントとマルチモデル投票を用いたトレースレベルおよびサンプルレベルの評価器を採用して, トレーニングのための信頼性の高いRL信号を保証するための検証, という3つの重要な次元を共同で拡張する。
さらに、安全を意識したメカニズムを統合し、連続動作の制御実行を保証する。
有能で効率的でオープンソースの基盤を提供することで、UI-Venus-2は現実世界のアプリケーションに対してより一般化され、検証可能で、自己表現的なエージェントへと発展していく。
関連論文リスト
- HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents [57.53434680014667]
HyMobileAgentはHy3.0-VL-A3B上に開発されたビジョンネイティブ基盤モデルである。
我々は,モバイルインタラクションの重要なボトルネックに対処する,共同データと環境中心のスケーリングフレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-16T04:12:42Z) - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - UI-Venus-1.5 Technical Report [64.4832043785725]
We present UI-Venus-1.5, an unified, end-to-end GUI Agent。
提案したモデルファミリーは、2つの高密度変種(2Bと8B)と1つの混合専門家変種(30B-A3B)からなる。
さらに、UI-Venus-1.5は、さまざまな中国のモバイルアプリで堅牢なナビゲーション機能を示している。
論文 参考訳（メタデータ） (2026-02-09T18:43:40Z) - Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。
有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。
我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
論文 参考訳（メタデータ） (2026-01-28T00:36:13Z) - AFRAgent : An Adaptive Feature Renormalization Based High Resolution Aware GUI agent [21.148033135113927]
インストラクトBLIPに基づくマルチモーダルアーキテクチャを導入し,GUI自動化における優れた性能を実現する。
低解像度画像埋め込みを効果的に強化する適応的特徴正規化(トークンレベルのアフィン変換)手法を提案する。
我々はAFRAgentをMeta-GUIおよびAITWベンチマークで評価し、スマートフォン自動化のための新しい最先端のベースラインを確立する。
論文 参考訳（メタデータ） (2025-11-30T11:32:54Z) - Retrieval-augmented GUI Agents with Generative Guidelines [45.75975553907856]
本稿では,推論時にWebチュートリアルを利用する軽量なVLMであるRAG-GUIを提案する。
RAG-GUIは、まず教師付き微調整(SFT)によりウォームスタートし、さらに自己誘導型リジェクションサンプリング微調整(RSF)により改良される。
一貫してベースラインエージェントを上回り、2つのモデルサイズで他の推論ベースラインを2.6%から13.3%上回る。
論文 参考訳（メタデータ） (2025-09-29T02:04:20Z) - Orcust: Stepwise-Feedback Reinforcement Learning for GUI Agent [12.334063115362758]
Orcust は Principle-Constrained Reward Modeling と Online VM-Grounded Trajectory Construction を統合したフレームワークである。
OVTCは機器化された仮想マシンをスピンアップして、構造化GUIインタラクション軌跡を自律的に収集する。
論文 参考訳（メタデータ） (2025-09-22T15:40:31Z) - OS-MAP: How Far Can Computer-Using Agents Go in Breadth and Depth? [30.788287791669458]
OS-MAPは、日々のコンピュータ利用自動化のためのベンチマークである。
15のアプリケーションにまたがる416の現実的なタスクを2つの重要な次元に沿って整理する。
必要なエージェントの自律性と一般化のレベルが異なる。
論文 参考訳（メタデータ） (2025-07-25T10:14:53Z) - AppAgent v2: Advanced Agent for Flexible Mobile Interactions [57.98933460388985]
本研究は,モバイル機器向けの新しいLLMベースのマルチモーダルエージェントフレームワークを提案する。
我々のエージェントは、様々なアプリケーションにまたがる適応性を高めるフレキシブルなアクション空間を構築する。
本研究は,実世界のシナリオにおいて,フレームワークの優れた性能を実証し,その有効性を確認した。
論文 参考訳（メタデータ） (2024-08-05T06:31:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。