論文の概要: One Rollout Is All You Get: Fully Test-Time Adaptation for GUI Agents
- arxiv url: http://arxiv.org/abs/2609.34321v1
- Date: Mon, 28 Sep 2026 05:00:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 21:49:29.542282
- Title: One Rollout Is All You Get: Fully Test-Time Adaptation for GUI Agents
- Title（参考訳）: GUIエージェントの完全なテスト時間適応
- Abstract要約: GUIエージェントは凍結した重量でデプロイされ、仕事で経験したすべてのものを破棄します。
これらの制約によりGUIエージェントの完全なテスト時間適応を定義し、最小の重み空間法であるSOLOと組み合わせる。
WebArena、VisualWebArena、MobileWorldから構築された繰り返しタスクストリームでは、UI-TARS-7BとQwen3-VL-8Bの両方でフリーズエージェントを3～6ポイント改善し、Webストリーム上で2つのインセットメモリメソッドを超える。
- 参考スコア（独自算出の注目度）: 15.677861196375881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GUI agents are deployed with frozen weights and discard everything they experience on the job. Existing ways to update an agent's weights assume something deployment withholds: ground truth, rollouts beyond the single attempt (retries, samples, practice runs), or a learning phase other than deployment. Because GUI actions can be irreversible, a deployed agent gets one attempt per task occurrence, in arrival order, and every attempt counts. No ground truth is available at any point. We define fully test-time adaptation for GUI agents by these constraints and pair it with a minimal weight-space method, SOLO. Auxiliary models read each episode: a judge selects the episodes it deems successful, and a proposer-verifier pair relabels a failed episode's prefix with the subtask that prefix completed. Admitted episodes enter a short sliding window, and each admission updates a small adapter by top-K self-distillation on the agent's own predictions, provided the window holds a judged success. On recurring task streams built from WebArena, VisualWebArena and MobileWorld, SOLO improves on the frozen agent with both UI-TARS-7B and Qwen3-VL-8B, by three to six points of success rate, and exceeds two in-setting memory methods on the web streams.
- Abstract（参考訳）: GUIエージェントは凍結した重量でデプロイされ、仕事で経験したすべてのものを破棄します。
エージェントの重みを更新する既存の方法は、基本的な真実、単一の試行(リトライ、サンプル、実行)を超えたロールアウト、デプロイメント以外の学習フェーズを前提としています。
GUIアクションは不可逆である可能性があるため、デプロイされたエージェントはタスク発生毎に1回の試行、到着順、そして全ての試行数を取得する。
いかなる点においても根底的な真実は得られない。
これらの制約によりGUIエージェントの完全なテスト時間適応を定義し、最小の重み空間法であるSOLOと組み合わせる。
審査員が成功と判断するエピソードを選択し、提案者検証者ペアが失敗エピソードのプレフィックスと、そのプレフィックスが完了したサブタスクをラベル付けする。
許可されたエピソードは短いスライドウィンドウに入り、各エントリーはエージェント自身の予測に基づいてトップKの自己蒸留によって小さなアダプタを更新する。
WebArena、VisualWebArena、MobileWorldから構築された繰り返しタスクストリームでは、UI-TARS-7BとQwen3-VL-8Bの両方でフリーズエージェントを3～6ポイント改善し、Webストリーム上で2つのインセットメモリメソッドを超える。
関連論文リスト
- Skim: Speculative Execution for Fast and Efficient Web Agents [8.47432001892345]
SkimはWebエージェントの投機的実行フレームワークである。
これは、目的を持ったウェブサイトの予測可能な構造を利用する。
Skimは、タスク毎の平均的なコストを1.9倍、レイテンシを33.4%削減する。
論文 参考訳（メタデータ） (2026-05-15T19:12:43Z) - Instruction Agent: Enhancing Agent with Expert Demonstration [12.67489098612846]
グラフィカルユーザインタフェース(GUI)エージェントは急速に進歩しているが、新しいUI要素、長い水平動作、パーソナライズされた軌跡を含む複雑なタスクに苦戦している。
そこで本研究では,GUIエージェントであるインストラクションエージェントを導入し,このようなタスクを専門的なデモンストレーションで解決し,それ以外は困難なタスクの完了を可能にする。
1つのデモンストレーションが与えられた場合、エージェントはステップバイステップの指示を抽出し、ユーザが意図した軌道を厳密に追従することで実行します。
論文 参考訳（メタデータ） (2025-09-08T18:00:12Z) - GTA1: GUI Test-time Scaling Agent [97.58177633084915]
グラフィカルユーザインタフェース(GUI)は、ユーザ命令をアクションプロポーザルに順次分解することで、プラットフォーム(例えばLinux)間で自律的にタスクを完了させる。
本稿では,前述の textbfGUI textbfTest-time Scaling textbfAgent,すなわち GTA1 の課題について検討する。
論文 参考訳（メタデータ） (2025-07-08T08:52:18Z) - CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。
AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-19T08:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。