論文の概要: CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications
- arxiv url: http://arxiv.org/abs/2608.11588v1
- Date: Wed, 12 Aug 2026 02:55:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.439045
- Title: CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications
- Title（参考訳）: CoAdapt-GUI: 見えないGUIアプリケーションのための統合ワークフローコンテキストとポリシー適応
- Abstract要約: CoAdapt-GUIは、エージェント自身のターゲットアプリロールアウトと報酬から構造化ワークフローコンテキストとポリシーを協調的に適応するテスト時適応フレームワークである。
2つの未確認アプリ評価の中で、CoAdapt-GUIはAndroidWorld-Generalizationで45.0%に達した。
これらの結果から,移動制約のワークフローコンテキストが大幅に向上し,共同政策の適応がホールドアウト性能をさらに向上することが示された。
- 参考スコア（独自算出の注目度）: 28.882838735000576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile GUI agents remain brittle when deployed to applications absent from source training. We study novel-app generalization under a limited target interaction budget and without target demonstrations. We introduce CoAdapt-GUI, a test-time adaptation (TTA) framework that jointly adapts structured workflow context and policy from the agent's own target-app rollouts and rewards. The workflow context retains transferable procedures, failure modes, and verification rules while excluding app-bound source details. This separation allows reusable workflow knowledge to guide adaptation without transferring source-interface state. For policy adaptation, task-context-matched group-relative optimization updates a LoRA adapter on a frozen vision-language model. Across two unseen-app evaluations, CoAdapt-GUI reaches 45.0% on AndroidWorld-Generalization, compared with 37.5% for the reported Policy-Only TTA baseline, and raises AndroidWorld Plus performance from 38.6% to 52.9%. These results show that transfer-constrained workflow context provides substantial gains and that joint policy adaptation further improves held-out performance.
- Abstract（参考訳）: モバイルGUIエージェントは、ソーストレーニングを欠いたアプリケーションにデプロイしても不安定なままである。
我々は,限定的なターゲットインタラクション予算と目標実証のない新規アプリケーション一般化について検討した。
本稿では,テスト時間適応(TTA)フレームワークであるCoAdapt-GUIを紹介する。
ワークフローコンテキストは、アプリバウンドソースの詳細を除外しながら、転送可能なプロシージャ、障害モード、検証ルールを保持します。
この分離により、再利用可能なワークフロー知識は、ソースとインターフェースの状態を転送することなく、適応をガイドできる。
ポリシー適応のために、タスクコンテキストマッチングされたグループ相対最適化は、凍結した視覚言語モデル上でLoRAアダプタを更新する。
2つの見当たらないアプリ評価の中で、CoAdapt-GUIはAndroidWorld-Generalizationで45.0%に達し、レポートされたPolicy-Only TTAベースラインでは37.5%、AndroidWorld Plusのパフォーマンスは38.6%から52.9%に向上した。
これらの結果から,移動制約のワークフローコンテキストが大幅に向上し,共同政策の適応がホールドアウト性能をさらに向上することが示された。
関連論文リスト
- APPSim-Bench: Bridging Real-world Apps and Reproducible Evaluation for Mobile GUI Agents [29.43824786048825]
移動エージェントは自然言語命令からタスクを実行することができるが、その評価は現実的かつ再現性の高いものにすることは困難である。
既存のベンチマークは、これらの目標をトレードオフするのに対して、ライブの商用アプリは、推奨、広告、アカウント、コンテンツの変更から制御不能なバリエーションを導入している。
本稿では,タスク関連インタラクションロジックを保持する制御可能なシミュレートアプリを通じて,このトレードオフに対処するAppSim-Benchを提案する。
論文 参考訳（メタデータ） (2026-09-07T16:25:13Z) - TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。
近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。
VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か?
我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
論文 参考訳（メタデータ） (2026-06-02T04:10:39Z) - Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies [48.31565681022125]
テスト・タイム・ラーニング(TTL)は、言語エージェントが推論時に環境と繰り返し対話することで、その性能を反復的に改善することを可能にする。
我々は,人間の直感に基づく手作業ではなく,タスク環境から最適な適応ポリシーを学ぶべきだと論じている。
本稿では,2段階最適化問題として効果的な適応ポリシーの発見を定式化するMeta-TTLを提案する。
論文 参考訳（メタデータ） (2026-04-01T12:41:01Z) - Generalization in Online Reinforcement Learning for Mobile Agents [32.98335803990582]
我々は、目に見えないタスクインスタンス、テンプレート、アプリケーションに対してゼロショットの一般化を評価するベンチマークであるtextbfAndroidWorld-Generalizationを紹介する。
AndroidWorld-Generalizationの実験によると、RLは7BパラメータのVLMエージェントを教師付き微調整ベースラインを超えることができる。
サポートと公正な比較のために、環境、タスクスイート、モデル、プロンプト構成、基盤となるインフラストラクチャを含む完全なRLトレーニングシステムをオープンソース化しました。
論文 参考訳（メタデータ） (2026-03-08T03:08:11Z) - CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning [67.78566256784404]
Supervised Fine-Tuning (SFT) は高速な適応を可能にし、しばしば知識のオーバーライトを引き起こす。
強化学習(RL)は、事前の相互作用ロジックを消去から保護する固有のレジリエンスを示す。
textbfContinual textbfGUI textbfLearningフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-03T13:02:20Z) - Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization [38.863014369090074]
本稿では,エージェントQ推定とステップワイドポリシ最適化という2つのコンポーネントで構成される,GUIエージェントのためのMLLM中心のフレームワークを紹介する。
Ovis2.5-9Bには強力なGUIインタラクション機能があり、GUIナビゲーションやグラウンドベンチマークでの優れたパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-02-14T07:44:47Z) - FlowSteer: Interactive Agentic Workflow Orchestration via End-to-End Reinforcement Learning [49.369614288007334]
FlowSteerは、エージェントと実行可能なキャンバス環境として軽量なポリシーモデルを採用する、エンドツーエンドの強化学習フレームワークである。
FlowSteerは様々なタスクでベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2026-02-02T05:30:42Z) - CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks [11.121687042616974]
Reinforcement Learning (RL) は動的対話型GUI環境においてエージェントのパフォーマンスを効果的に向上させる。
ほとんどのアプローチはタスク固有のニュアンスを1つの粗い報酬に分解し、エージェントに非効率なポリシー更新をもたらす均一な信号を残す。
我々は,グループ相対政策最適化(GRPO)に基づくカリキュラム学習フレームワークであるCRAFT-GUIを提案する。
論文 参考訳（メタデータ） (2025-08-15T09:55:02Z) - ARPO:End-to-End Policy Optimization for GUI Agents with Experience Replay [88.74638385288773]
Agentic Replay Policy Optimizationは、複雑で長期のコンピュータタスクのパフォーマンスを改善する。
本稿では,ベースラインエージェントの性能に基づいてタスクをフィルタリングするタスク選択戦略を提案する。
OSWorldベンチマークの実験では、ARPOが競争結果を達成することを示した。
論文 参考訳（メタデータ） (2025-05-22T06:24:32Z) - Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。
この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。
MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
論文 参考訳（メタデータ） (2022-10-14T03:22:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。