論文の概要: ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents
- arxiv url: http://arxiv.org/abs/2606.22948v1
- Date: Mon, 22 Jun 2026 07:28:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 03:22:33.449887
- Title: ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents
- Title（参考訳）: ENVS: 長期GUIエージェントの環境依存型検証検索
- Authors: Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang,
- Abstract要約: Environment-Native Verified Searchは、ポリシー最適化の前に認証された監視を構築する。
OSWorld-Noisyは、リカバリ可能なデスクトップ割り込みのためのベンチマークである。
ENVSはOSWorld-Noisyで30.3pass@8、OSWorld-Noisyで29.0に達し、ARPOスタイルのオンライン検索を上回っている。
- 参考スコア（独自算出の注目度）: 35.35193712019351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As multimodal agents move from interface understanding to real software control, successful trajectory discovery in live desktop environments becomes a key challenge. GUI tasks require long-horizon sequences of precise mouse and keyboard actions, while feedback is sparse, delayed, and costly to obtain through VM rollouts. We propose Environment-Native Verified Search (ENVS), a training-time search-and-filter pipeline that uses the environment to construct verified supervision before policy optimization: it branches over behaviorally distinct GUI actions in live OSWorld VMs, verifies successful leaves, and trains from globally balanced step-level supervision. To evaluate robustness under realistic desktop interruptions, we also introduce OSWorld-Noisy, a dynamic benchmark for recoverable desktop interruptions that preserves the original tasks while testing whether agents can refocus, dismiss, wait, or recover under live perturbations. On the 300-task OSWorld pool, ENVS reaches 30.3 pass@8 on original evaluations and 29.0 on OSWorld-Noisy, outperforming matched ARPO-style online RL while reducing compute from 184-192 to 138-153 GPU-hours; even with only 30% of its search data, ENVS reaches 27.0 pass@8, exceeding ARPO from the base model. Training from noisy environments also better preserves visual-reasoning abilities on auxiliary benchmarks, including OSWorld-G Refusal (16.7 vs. 1.9) and BLINK Functional Correspondence (26.2 vs. 23.1).
- Abstract（参考訳）: マルチモーダルエージェントがインターフェイス理解から実際のソフトウェア制御に移行するにつれ、ライブデスクトップ環境における軌道発見の成功は重要な課題となる。
GUIタスクは、正確なマウスとキーボードアクションの長い水平シーケンスを必要とする。
環境-Native Verified Search (ENVS) は,OSWorld VM 上で動作的に異なる GUI アクションを分岐し,成功葉を検証し,グローバルにバランスの取れたステップレベルの監督から列車を分離する,環境-Native Verified Search (ENVS) を提案する。
また、現実的なデスクトップ中断下での堅牢性を評価するため、エージェントがライブの摂動下で再フォーカス、削除、待機、回復できるかどうかをテストしながら、元のタスクを保存できる、回復可能なデスクトップ割り込みのための動的ベンチマークであるOSWorld-Noisyを導入する。
300タスクのOSWorldプールでは、ENVSはオリジナルの評価で30.3 pass@8に達し、OSWorld-Noisyでは29.0に達し、184-192から138-153 GPU-hoursまで計算を減らしながら、一致するARPOスタイルのオンラインRLを上回っている。
OSWorld-G Refusal (16.7 vs. 1.9) や BLINK Functional Cor correspondingence (26.2 vs. 23.1) など、補助ベンチマークの視覚的推論能力も向上している。
関連論文リスト
- LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents [74.07551833809536]
ドメイン仕様から直接端末トレーニング環境を生成するゼロ依存パイプラインである LiteCoder-Terminal-Gen を紹介する。
このフレームワークを用いて,10ドメインにわたる11,255のエキスパートトラジェクトリからなるLiteCoder-Terminal-SFTと,トラジェクトリレベルの優先度最適化のための602の検証可能な環境を備えたLiteCoder-Terminal-RLという2つの大規模リソースを構築した。
論文 参考訳（メタデータ） (2026-05-28T08:11:57Z) - GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training [30.675339113121225]
提案するGUI-GENESIS(GUI-GENESIS)は,効率の良いGUIトレーニング環境を,評価可能な報酬で自動生成するフレームワークである。
GUI-GENESISは、実際のアプリケーションのトレーニングと比較して、環境のレイテンシを10倍削減し、エポック毎のコストを28,000ドル以上削減する。
論文 参考訳（メタデータ） (2026-02-15T10:58:01Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z) - AndroidLens: Long-latency Evaluation with Nested Sub-targets for Android GUI Agents [36.66219528445988]
モバイルGUIエージェントのための挑戦的な評価フレームワークであるAndroidLensを紹介する。
中国語と英語の両方の環境での長時間のタスクは571である。
我々の評価では、最高のモデルでさえ、12.7%のタスク成功率と50.47%のATPにしか達していない。
論文 参考訳（メタデータ） (2025-12-24T17:40:42Z) - GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳（メタデータ） (2025-11-06T12:19:02Z) - UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-02T17:44:45Z) - WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point [17.165899818213475]
We introduced WorldGUI, a comprehensive GUI benchmark including tasks across 10 wide used desktop and web applications。
WorldGUI-Agentは3つのコアモジュールを統一する普遍的なフレームワークである。高レベルプラン修正のためのPlanner-Critic、中間検証のためのStep-Check、アクションレベルの最適化のためのActor-Criticである。
論文 参考訳（メタデータ） (2025-02-12T01:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。