論文の概要: FedMobileAgent: Training Mobile Agents Using Decentralized Self-Sourced Data from Diverse Users
- arxiv url: http://arxiv.org/abs/2502.02982v1
- Date: Wed, 05 Feb 2025 08:26:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:27:32.698460
- Title: FedMobileAgent: Training Mobile Agents Using Decentralized Self-Sourced Data from Diverse Users
- Title（参考訳）: FedMobileAgent: 分散型のセルフソースデータを使って、さまざまなユーザからモバイルエージェントを訓練する
- Authors: Wenhao Wang, Zijie Yu, William Liu, Rui Ye, Tian Jin, Siheng Chen, Yanfeng Wang,
- Abstract要約: 我々はFedMobileAgentを提案する。FedMobileAgentは、多様なユーザーからの自己ソースデータを用いてモバイルエージェントを訓練するフレームワークである。
分散環境では、FedMobileAgentは集中型人間アノテーションモデルに匹敵するパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 50.780622043840076
- License:
- Abstract: The advancement of mobile agents has opened new opportunities for automating tasks on mobile devices. Training these agents requires large-scale high-quality data, which is costly using human labor. Given the vast number of mobile phone users worldwide, if automated data collection from them is feasible, the resulting data volume and the subsequently trained mobile agents could reach unprecedented levels. Nevertheless, two major challenges arise: (1) extracting high-level and low-level user instructions without involving human and (2) utilizing distributed data from diverse users while preserving privacy. To tackle these challenges, we propose FedMobileAgent, a collaborative framework that trains mobile agents using self-sourced data from diverse users. Specifically, it includes two techniques. First, we propose Auto-Annotation, which enables the automatic collection of high-quality datasets during users' routine phone usage with minimal cost. Second, we introduce adapted aggregation to improve federated training of mobile agents on non-IID user data, by incorporating both episode- and step-level distributions. In distributed settings, FedMobileAgent achieves performance comparable to centralized human-annotated models at less than 0.02\% of the cost, highlighting its potential for real-world applications.
- Abstract（参考訳）: モバイルエージェントの進歩により、モバイルデバイス上でタスクを自動化する新たな機会が開かれた。
これらのエージェントの訓練には大規模で高品質なデータが必要である。
世界中の携帯電話ユーザーの膨大な数を考えると、自動化されたデータ収集が実現可能であれば、結果のデータ量とその後の訓練されたモバイルエージェントは前例のないレベルに達する可能性がある。
それにもかかわらず、(1)人間を巻き込まずにハイレベルかつ低レベルのユーザー指示を抽出し、(2)プライバシーを保ちながら多様なユーザーからの分散データを活用するという2つの大きな課題が生じる。
これらの課題に対処するために,多様なユーザからの自己ソースデータを用いてモバイルエージェントをトレーニングする,協調的なフレームワークであるFedMobileAgentを提案する。
具体的には2つの技法がある。
まず,ユーザの日常電話使用時の高品質なデータセットの自動収集を最小限のコストで実現するAuto-Annotationを提案する。
第2に、エピソードレベルとステップレベルの両方を組み込むことで、非IIDユーザデータ上でのモバイルエージェントのフェデレーショントレーニングを改善するための適応アグリゲーションを導入する。
分散環境では、FedMobileAgentは0.02\%以下のコストで、集中型人間アノテーションモデルに匹敵するパフォーマンスを実現し、現実世界のアプリケーションの可能性を強調している。
関連論文リスト
- Foundations and Recent Trends in Multimodal Mobile Agents: A Survey [57.677161006710065]
モバイルエージェントは、複雑で動的なモバイル環境におけるタスクの自動化に不可欠である。
近年の進歩により、リアルタイム適応性とマルチモーダルインタラクションが向上している。
これらの進歩は、プロンプトベースの方法とトレーニングベースの方法の2つの主要なアプローチに分類する。
論文 参考訳（メタデータ） (2024-11-04T11:50:58Z) - MobileExperts: A Dynamic Tool-Enabled Agent Team in Mobile Devices [17.702068044185086]
本稿では,ツールの定式化とマルチエージェントコラボレーションを初めて導入するMobileExpertsを紹介する。
我々は,専門家同士の協調関係を確立するための二重層計画機構を開発する。
実験の結果,MobileExpertsはすべてのインテリジェンスレベルにおいて優れた性能を示し,推論コストの22%削減を実現している。
論文 参考訳（メタデータ） (2024-07-04T13:12:19Z) - Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration [52.25473993987409]
モバイルデバイス操作支援のためのマルチエージェントアーキテクチャであるMobile-Agent-v2を提案する。
アーキテクチャは、計画エージェント、決定エージェント、反射エージェントの3つのエージェントから構成される。
単一エージェントアーキテクチャと比較して,Mobile-Agent-v2ではタスク完了率が30%以上向上していることを示す。
論文 参考訳（メタデータ） (2024-06-03T05:50:00Z) - Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception [52.5831204440714]
自律型マルチモーダルモバイルデバイスエージェントMobile-Agentを紹介する。
Mobile-Agentはまず視覚認識ツールを利用して、アプリのフロントエンドインターフェイス内の視覚的要素とテキスト的要素の両方を正確に識別し、特定する。
そして、複雑なオペレーションタスクを自律的に計画し、分解し、ステップバイステップでモバイルアプリをナビゲートする。
論文 参考訳（メタデータ） (2024-01-29T13:46:37Z) - MobileAgent: enhancing mobile control via human-machine interaction and
SOP integration [0.0]
大規模言語モデル(LLM)は、ユーザのためのモバイルデバイス操作を自動化できるようになった。
パーソナライズされたユーザデータに関するプライバシー上の懸念は、モバイル操作中に発生し、ユーザ確認が必要になる。
エージェントと人間間の対話的なタスクを設計し、機密情報を識別し、パーソナライズされたユーザニーズに合わせる。
提案手法は,複数ステップのタスクにまたがる30Kのユニークな命令を含む新しいデバイス制御ベンチマークであるAitWで評価される。
論文 参考訳（メタデータ） (2024-01-04T03:44:42Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳（メタデータ） (2021-09-12T15:51:41Z) - Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。
当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。
我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
論文 参考訳（メタデータ） (2021-03-08T21:48:55Z) - MDLdroid: a ChainSGD-reduce Approach to Mobile Deep Learning for
Personal Mobile Sensing [14.574274428615666]
デバイス上でのディープラーニングの実行には、データのプライバシ保護や、モデルの堅牢性とアップデートの両方に対する低レイテンシ応答など、いくつかのメリットがある。
パーソナルモバイルセンシングアプリケーションは、主にユーザ固有であり、環境の影響を受けやすい。
我々は,デバイス上での協調学習を実現するために,新たな分散モバイルディープラーニングフレームワークであるMDLdroidを提案する。
論文 参考訳（メタデータ） (2020-02-07T16:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。