論文の概要: GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training
- arxiv url: http://arxiv.org/abs/2602.14093v1
- Date: Sun, 15 Feb 2026 10:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.649816
- Title: GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training
- Title（参考訳）: GUI-GENESIS:GUIエージェントポストトレーニングのための検証可能なリワードを用いた効率的な環境の自動合成
- Authors: Yuan Cao, Dezhi Ran, Mengzhou Wu, Yuzhe Guo, Xin Chen, Ang Li, Gang Cao, Gong Zhi, Hao Yu, Linyi Li, Wei Yang, Tao Xie,
- Abstract要約: 提案するGUI-GENESIS(GUI-GENESIS)は,効率の良いGUIトレーニング環境を,評価可能な報酬で自動生成するフレームワークである。
GUI-GENESISは、実際のアプリケーションのトレーニングと比較して、環境のレイテンシを10倍削減し、エポック毎のコストを28,000ドル以上削減する。
- 参考スコア（独自算出の注目度）: 30.675339113121225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training GUI agents in interactive environments is critical for developing generalization and long-horizon planning capabilities. However, training on real-world applications is hindered by high latency, poor reproducibility, and unverifiable rewards relying on noisy visual proxies. To address the limitations, we present GUI-GENESIS, the first framework to automatically synthesize efficient GUI training environments with verifiable rewards. GUI-GENESIS reconstructs real-world applications into lightweight web environments using multimodal code models and equips them with code-native rewards, executable assertions that provide deterministic reward signals and eliminate visual estimation noise. Extensive experiments show that GUI-GENESIS reduces environment latency by 10 times and costs by over $28,000 per epoch compared to training on real applications. Notably, agents trained with GUI-GENESIS outperform the base model by 14.54% and even real-world RL baselines by 3.27% on held-out real-world tasks. Finally, we observe that models can synthesize environments they cannot yet solve, highlighting a pathway for self-improving agents.
- Abstract（参考訳）: 対話型環境における訓練後のGUIエージェントは、一般化と長期計画機能を開発する上で重要である。
しかし、現実世界のアプリケーションでのトレーニングは、遅延が高く、再現性が悪く、ノイズの多い視覚プロキシに依存する不検証の報酬によって妨げられている。
そこで我々は,GUI-GENESIS(GUI-GENESIS,GUI-GENESIS,GUI-GENESIS,GUI-GENESIS,GUI-GENESIS,GUI-GENESIS)を提案する。
GUI-GENESISは、マルチモーダルコードモデルを使用して現実世界のアプリケーションを軽量なWeb環境に再構築し、コードネイティブな報酬、決定論的報酬信号を提供する実行可能なアサーション、視覚的推定ノイズを除去する。
大規模な実験により、GUI-GENESISは実際のアプリケーションのトレーニングと比較して環境遅延を10倍減らし、エポックあたり28,000ドル以上のコストを削減している。
特にGUI-GENESISで訓練されたエージェントは、ベースモデルを14.54%、実世界のRLベースラインを3.27%上回っている。
最後に、モデルが解決できない環境を合成できることを観察し、自己改善エージェントの経路を強調した。
関連論文リスト
- UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-02T17:44:45Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。
私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。
AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-06-02T07:30:29Z) - ZeroGUI: Automating Online GUI Learning at Zero Human Cost [75.21128388931945]
我々は、ZeroGUIを提案する。ZeroGUIは、Zeroの人的コストでGUIエージェントのトレーニングを自動化する、スケーラブルでオンライン学習フレームワークである。
具体的には、(i)VLMベースの自動タスク生成を統合して、現在の環境状態から多様なトレーニング目標を生成するとともに、(ii)手作り評価機能なしでタスク成功を評価するためのVLMベースの自動報酬推定と、(iii)GUI環境と継続的に対話し学習するための2段階オンライン強化学習を統合する。
論文 参考訳（メタデータ） (2025-05-29T17:59:51Z) - Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。
また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。
UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
論文 参考訳（メタデータ） (2024-12-15T22:17:30Z) - Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents [20.08996257335876]
環境を視覚的に完全に認識し,GUI上でピクセルレベルの操作を直接実行する,GUIエージェントのためのヒューマンライクなエボディメントを提唱する。
これまでに10MのGUI要素と参照式を1.3Mのスクリーンショット上に収めた、GUIの視覚的接地のための最大のデータセットを収集しました。
ウェブベースの合成データとLLaVAアーキテクチャの若干の適応を含む簡単なレシピは、このような視覚的接地モデルのトレーニングに驚くほど効果的であることを示す。
論文 参考訳（メタデータ） (2024-10-07T17:47:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。