論文の概要: EE-MCP: Self-Evolving MCP-GUI Agents via Automated Environment Generation and Experience Learning
- arxiv url: http://arxiv.org/abs/2604.09815v1
- Date: Fri, 10 Apr 2026 18:46:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:15.689605
- Title: EE-MCP: Self-Evolving MCP-GUI Agents via Automated Environment Generation and Experience Learning
- Title（参考訳）: EE-MCP:自動環境生成と経験学習による自己進化型MPP-GUIエージェント
- Authors: Tiantian He, Yihang Chen, Keyue Jiang, Ka Yiu Lee, Kaiwen Zhou, Kun Shao, Shuai Wang,
- Abstract要約: MCP-GUIは、エージェントが各モダリティが相補的な利点を提供するときに学習する統合型ポリシー学習問題として定式化される。
本稿では,自動環境生成と検証,軌跡収集,ギャップ駆動型タスク合成,品質フィルタによるトレーニングを編成する,完全自動パイプラインによる自己進化型フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.190399395358014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computer-use agents that combine GUI interaction with structured API calls via the Model Context Protocol (MCP) show promise for automating software tasks. However, existing approaches lack a principled understanding of how agents should balance these two modalities and how to enable iterative self-improvement across diverse applications. We formulate MCP-GUI interplay as a unified hybrid policy learning problem where the agent learns when each modality provides complementary advantages, and show that distillation and experience augmentation target fundamentally different failure modes - requiring application-aware mechanism selection. Built on this formulation, we propose a self-evolving framework with a fully automatic pipeline that orchestrates automatic environment generation and validation, trajectory collection, gap-driven task synthesis, and quality-filtered training - all without manual intervention. A key innovation is our experience bank, which accumulates LLM-learned rules from trajectory comparison, enabling inference-time improvement without fine-tuning. Systematic \textbf{cross-application analysis} across three desktop applications reveals that the optimal strategy depends on MCP-GUI composition: distillation achieves 77.8\% pass rate on MCP-dominant tasks (+17.8pp), while the experience bank excels on GUI-intensive tasks (+10.0pp).
- Abstract（参考訳）: モデルコンテキストプロトコル(MCP)によるGUIと構造化API呼び出しを組み合わせたコンピュータ利用エージェントは、ソフトウェアタスクの自動化を約束する。
しかし、既存のアプローチには、エージェントがこれらの2つのモードのバランスをとるべき方法と、多様なアプリケーション間で反復的な自己改善を実現する方法の原則的な理解が欠けている。
我々は,MPP-GUIの相互作用を,各モータリティが相補的な優位性を提供するときにエージェントが学習する統合ハイブリッド政策学習問題として定式化し,蒸留と経験増強が基本的に異なる障害モードを目標とすることを示す。
この定式化に基づいて,自動環境生成と検証,軌道収集,ギャップ駆動型タスク合成,品質フィルタトレーニングなどを手作業で実施する,完全自動パイプラインを備えた自己進化型フレームワークを提案する。
重要な革新は、LLM学習ルールを軌跡比較から蓄積し、微調整なしで推論時間の改善を可能にする経験銀行である。
Systematic \textbf{cross-application analysis} は、3つのデスクトップアプリケーションにまたがって、最適戦略はMPP-GUI構成に依存している。
関連論文リスト
- GPA: Learning GUI Process Automation from Demonstrations [59.82483926336919]
GPAは軽量だが汎用的なビジョンベースロボットプロセス自動化(RPA)である
1つのデモだけで、高速で安定したプロセスのリプレイが可能になる。
従来のRPAの脆弱性と、現在のビジョン言語モデルに基づくGUIエージェントの非決定論的リスクに対処する。
論文 参考訳（メタデータ） (2026-04-02T06:27:52Z) - Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization [38.863014369090074]
本稿では,エージェントQ推定とステップワイドポリシ最適化という2つのコンポーネントで構成される,GUIエージェントのためのMLLM中心のフレームワークを紹介する。
Ovis2.5-9Bには強力なGUIインタラクション機能があり、GUIナビゲーションやグラウンドベンチマークでの優れたパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-02-14T07:44:47Z) - MagicGUI-RMS: A Multi-Agent Reward Model System for Self-Evolving GUI Agents via Automated Feedback Reflux [37.49192877577783]
本稿では,適応軌道評価,修正フィードバック,自己進化学習機能を実現するマルチエージェント報酬モデルシステムMagicGUI-RMSを提案する。
大規模な報酬学習を支援するため、バランスの取れた多様な報酬データセットを自動的に生成する構造化データ構築パイプラインを設計する。
実験により、MagicGUI-RMSはタスクの正確性、振る舞いの堅牢性においてかなりの利益をもたらすことが示された。
論文 参考訳（メタデータ） (2026-01-19T13:50:43Z) - Jenius Agent: Towards Experience-Driven Accuracy Optimization in Real-World Scenarios [0.9069311779417014]
本稿では,実体験に基づくエージェントフレームワークを提案する。
Jenius-Agentという名前のエンドツーエンドフレームワークは、3つの重要な最適化と統合されている。
実験によると、タスクの精度が20%向上し、トークンコストが削減され、レスポンスレイテンシが低下し、起動障害が発生している。
論文 参考訳（メタデータ） (2026-01-05T07:35:12Z) - Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。
異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。
OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
論文 参考訳（メタデータ） (2025-09-28T13:19:20Z) - CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks [11.121687042616974]
Reinforcement Learning (RL) は動的対話型GUI環境においてエージェントのパフォーマンスを効果的に向上させる。
ほとんどのアプローチはタスク固有のニュアンスを1つの粗い報酬に分解し、エージェントに非効率なポリシー更新をもたらす均一な信号を残す。
我々は,グループ相対政策最適化(GRPO)に基づくカリキュラム学習フレームワークであるCRAFT-GUIを提案する。
論文 参考訳（メタデータ） (2025-08-15T09:55:02Z) - CoAct-1: Computer-using Agents with Coding as Actions [94.99657662893338]
CoAct-1はGUIベースの制御と直接プログラム実行を組み合わせた新しいマルチエージェントシステムである。
我々は、CoAct-1が60.76%の最先端の成功率を達成したOSWorldベンチマークで、我々のシステムを評価した。
論文 参考訳（メタデータ） (2025-08-05T21:33:36Z) - MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision [76.42361936804313]
自動MAS設計のための自己進化型推論時間フレームワークMAS-ZEROを紹介する。
MAS-ZEROはメタレベルの設計を採用し、各問題インスタンスに適したMAS構成を反復的に生成し、評価し、洗練する。
論文 参考訳（メタデータ） (2025-05-21T00:56:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。