論文の概要: MAPLE: A Multimodal Mobile Agent with Playbook-Learned Experience
- arxiv url: http://arxiv.org/abs/2611.01351v1
- Date: Sat, 31 Oct 2026 23:44:52 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:55:39.64378
- Title: MAPLE: A Multimodal Mobile Agent with Playbook-Learned Experience
- Title(参考訳): MAPLE:プレイブック学習体験を備えたマルチモーダルモバイルエージェント
- Abstract要約: グラデーションフリーなマルチエージェントフレームワークであるMAPLE(Multimodal Agent with Playbook-Learned Experience)を紹介する。
費用がかかるポストホックなセルフリフレクションに依存する従来のアクション・リフレクションアーキテクチャとは異なり、MAPLEはエージェントをクロスリフレクションし、リアルタイムでインサイトを配布することを可能にする。
MAPLEは、複雑で長い水平なモバイルタスクで最先端のパフォーマンスを達成しつつ、新しい環境にまたがってスケーラブルで適応可能であることを証明します。
- 参考スコア(独自算出の注目度): 11.943663157888276
- License:
- Abstract: Autonomous agents powered by vision-language models (VLMs) show great potential in navigating mobile graphical user interfaces (GUIs) to complete complex tasks. However, existing paradigms face fundamental scalability bottlenecks: fine-tuning requires massive high-fidelity datasets or prohibitive training time and compute, while gradient-free approaches rely on custom static heuristics or costly trial-and-error trajectory exploration where feedback is deferred until the end of execution. To address these limitations, we introduce MAPLE (Multimodal Agent with Playbook-Learned Experience), a novel gradient-free multi-agent framework that enables dynamic, step-wise experience sharing and execution-time prompt evolution. Unlike traditional action-reflection architectures that depend on costly, post-hoc self-reflection, MAPLE enables agents to cross-reference and distribute runtime insights in real time at each operational step. This dynamic exchange eliminates blind trial-and-error looping and steers agents along direct, grounded interaction paths. Extensive evaluations on the AndroidWorld and MobileWorld benchmarks demonstrate that MAPLE achieves state-of-the-art performance on complex, long-horizon mobile tasks, while proving scalable and adaptable across novel environments.
- Abstract(参考訳): 視覚言語モデル(VLM)を利用した自律エージェントは、複雑なタスクを完了するためにモバイルグラフィカルユーザインタフェース(GUI)をナビゲートする大きな可能性を示している。
しかし、既存のパラダイムは、基本的なスケーラビリティのボトルネックに直面している: 微調整には大量の高忠実なデータセットや禁止的なトレーニング時間と計算が必要だが、勾配のないアプローチはカスタムな静的ヒューリスティックやコストのかかる試行錯誤探索に依存している。
これらの制約に対処するために、動的で段階的な経験共有と実行時プロンプト進化を可能にする新しい勾配のないマルチエージェントフレームワークであるMAPLE(Multimodal Agent with Playbook-Learned Experience)を導入する。
コストがかかるポストホックなセルフリフレクションに依存する従来のアクションリフレクションアーキテクチャとは異なり、MAPLEはエージェントをクロスリフレクションし、各運用ステップでランタイムインサイトをリアルタイムで配布することを可能にする。
この動的交換は、直接、接地された相互作用パスに沿って盲目的の試行錯誤とステアエージェントを排除します。
AndroidWorldとMobileWorldのベンチマークに関する大規模な評価は、MAPLEが複雑な、長い水平なモバイルタスクで最先端のパフォーマンスを達成し、新しい環境にまたがってスケーラブルで適応可能であることを実証している。
関連論文リスト
- SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking [23.006082521142137]
SimuWoBは、さまざまなタイプと難易度にまたがる120の課題タスクを備えた、モバイルGUIエージェントのための完全な総合ベンチマークである。
我々は高忠実度タスクと環境を合成する堅牢な仮想環境生成フレームワークを構築した。
我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。
論文 参考訳(メタデータ) (2026-05-24T16:33:14Z) - How Mobile World Model Guides GUI Agents? [51.29718003718467]
デルタテキスト、フルテキスト、拡散ベースのイメージ、レンダリング可能なコードという、4つのモードでワールドモデルをトレーニングします。
これらのモデルはMobileWorldBenchとCode2WorldBenchの両方でSoTAのパフォーマンスを達成する。
低アクションエントロピーを持つ過信な移動体エージェントの場合、後部自己反射は限られた利得を与える。
論文 参考訳(メタデータ) (2026-05-11T10:49:31Z) - Step-level Optimization for Efficient Computer-use Agents [51.29573359027217]
我々は、強力なコンピュータ利用エージェントは、実際は高価で遅いと論じている。
本稿では,コンピュータ利用エージェントのためのイベント駆動ステップレベルカスケードを提案する。
論文 参考訳(メタデータ) (2026-04-29T19:59:36Z) - MOSAIC: Bridging the Sim-to-Real Gap in Generalist Humanoid Motion Tracking and Teleoperation with Rapid Residual Adaptation [50.643488406438514]
一般のヒューマノイドモーショントラッカーは、データをスケーリングしてトレーニングすることで、強力なシミュレーション指標を達成したが、持続的な遠隔操作の間、ハードウェア上では不安定なままであることが多い。
複数のインタフェースをまたいだヒューマノイドモーショントラッキングと全身遠隔操作のためのオープンソースのフルスタックシステムMOSAICを提案する。
論文 参考訳(メタデータ) (2026-02-09T12:35:01Z) - User-Oriented Multi-Turn Dialogue Generation with Tool Use at scale [5.641245411366927]
タスク指向型マルチターン対話を大規模に自動生成するフレームワークを開発した。
我々の生成パイプラインは、任意の状態から生成を開始することができる汎用的なプラグイン・アンド・プレイモジュールとして動作します。
実世界の人間とエージェントの相互作用の多面的要求を反映した高密度データセットを提供する。
論文 参考訳(メタデータ) (2026-01-13T05:14:09Z) - VLNVerse: A Benchmark for Vision-Language Navigation with Versatile, Embodied, Realistic Simulation and Evaluation [61.82502719679122]
本稿では,Versatile, Embodied, Realistic Simulation, EvaluationのベンチマークであるVLNVerseを紹介する。
VLNVerseは、スケーラブルでフルスタックのAI問題としてVLNを再定義する。
ベンチマーク内の全てのタスクに対処できる新しいマルチタスクモデルを提案する。
論文 参考訳(メタデータ) (2025-12-22T04:27:26Z) - ColorBench: Benchmarking Mobile Agents with Graph-Structured Framework for Complex Long-Horizon Tasks [37.79008306764891]
実世界のタスクは複雑で、複数の有効なソリューションが可能である。
オフラインベンチマークは、1つの事前定義された"ゴールドパス"のみを検証することができる
オンライン動的テストは、実際のデバイスの複雑さと非再現性によって制約される。
本稿では,新しいグラフ構造化ベンチマークフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-16T12:30:05Z) - Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks [85.48034185086169]
Mobile-Agent-Eは、過去の経験を通じて自己進化できる階層的なマルチエージェントフレームワークである。
Mobile-Agent-Eは従来の最先端アプローチよりも22%の絶対的な改善を実現している。
論文 参考訳(メタデータ) (2025-01-20T20:35:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。