論文の概要: AppBuddy: Learning to Accomplish Tasks in Mobile Apps via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2106.00133v1
• Date: Mon, 31 May 2021 23:02:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:23:45.117980
• Title: AppBuddy: Learning to Accomplish Tasks in Mobile Apps via Reinforcement Learning
• Title（参考訳）: AppBuddy: 強化学習を通じてモバイルアプリのタスクを補完する学習
• Authors: Maayan Shvo, Zhiming Hu, Rodrigo Toro Icarte, Iqbal Mohomed, Allan Jepson, Sheila A. McIlraith
• Abstract要約: モバイルアプリのタスクを学習するためのRLベースのフレームワークを紹介した。 RLエージェントは、オンスクリーン要素の基本的な表現から派生した状態を備える。 我々は,効率的なRLトレーニング環境を実現するために,いくつかの工学的課題に対処するプラットフォームを開発する。
• 参考スコア（独自算出の注目度）: 19.990946219992992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human beings, even small children, quickly become adept at figuring out how to use applications on their mobile devices. Learning to use a new app is often achieved via trial-and-error, accelerated by transfer of knowledge from past experiences with like apps. The prospect of building a smarter smartphone - one that can learn how to achieve tasks using mobile apps - is tantalizing. In this paper we explore the use of Reinforcement Learning (RL) with the goal of advancing this aspiration. We introduce an RL-based framework for learning to accomplish tasks in mobile apps. RL agents are provided with states derived from the underlying representation of on-screen elements, and rewards that are based on progress made in the task. Agents can interact with screen elements by tapping or typing. Our experimental results, over a number of mobile apps, show that RL agents can learn to accomplish multi-step tasks, as well as achieve modest generalization across different apps. More generally, we develop a platform which addresses several engineering challenges to enable an effective RL training environment. Our AppBuddy platform is compatible with OpenAI Gym and includes a suite of mobile apps and benchmark tasks that supports a diversity of RL research in the mobile app setting.
• Abstract（参考訳）: 人間は、たとえ小さな子供でも、モバイル端末でアプリケーションを使う方法を見つけることに、すぐに精通する。 新しいアプリを使うための学習は、しばしば試行錯誤によって行われ、likeアプリを使った過去の経験から知識を移すことによって促進される。 よりスマートなスマートフォン - モバイルアプリを使ってタスクの達成方法を学べる - を構築する見通しは、具体的だ。 本稿では,この試みを進めることを目的とした強化学習(RL)の利用について検討する。 モバイルアプリのタスクを学習するためのRLベースのフレームワークを紹介する。 RLエージェントには、オンスクリーン要素の基本的な表現から派生した状態と、タスクの進捗に基づく報酬が提供される。 エージェントはタップやタイピングによってスクリーン要素と対話できる。 実験の結果、複数のモバイルアプリで、RLエージェントがマルチステップのタスクをこなし、異なるアプリにまたがる控えめな一般化を達成できることが示されている。 より一般的には、効率的なRLトレーニング環境を実現するために、いくつかのエンジニアリング課題に対処するプラットフォームを開発する。 私たちのAppBuddyプラットフォームはOpenAI Gymと互換性があり、モバイルアプリのスイートと、モバイルアプリ設定におけるRL研究の多様性をサポートするベンチマークタスクが含まれています。

関連論文リスト

• Foundations and Recent Trends in Multimodal Mobile Agents: A Survey [57.677161006710065]
  モバイルエージェントは、複雑で動的なモバイル環境におけるタスクの自動化に不可欠である。 近年の進歩により、リアルタイム適応性とマルチモーダルインタラクションが向上している。 これらの進歩は、プロンプトベースの方法とトレーニングベースの方法の2つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-04T11:50:58Z)
• MobileAgentBench: An Efficient and User-Friendly Benchmark for Mobile LLM Agents [7.4568642040547894]
  大規模言語モデル(LLM)ベースのモバイルエージェントは、携帯電話のグラフィカルユーザインタフェース(GUI)と直接対話できることから、ますます人気が高まっている。 学術部門と産業部門の両方で有望な見通しにもかかわらず、既存のモバイルエージェントのパフォーマンスをベンチマークすることに注力する研究はほとんどない。 我々は、広範囲な手動テストの負担を軽減するために、効率的でユーザフレンドリなベンチマークMobileAgentBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-12T13:14:50Z)
• Benchmarking Mobile Device Control Agents across Diverse Configurations [19.01954948183538]
  B-MoCAは、モバイルデバイス制御エージェントの評価と開発のためのベンチマークである。 我々は,大規模言語モデル (LLM) やマルチモーダル LLM を用いたエージェントを含む多種多様なエージェントをベンチマークする。 これらのエージェントは、簡単なタスクの実行の熟練度を示す一方で、複雑なタスクにおけるパフォーマンスの低さは、将来の研究が有効性を改善するための重要な機会を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-25T14:56:32Z)
• AppAgent: Multimodal Agents as Smartphone Users [23.318925173980446]
  我々のフレームワークは、エージェントが簡易なアクション空間を通じてスマートフォンアプリケーションを操作できるようにする。 エージェントは、自律的な探索または人間のデモを観察して、新しいアプリをナビゲートし、使用することを学ぶ。 エージェントの実用性を実証するため、10種類のアプリケーションで50以上のタスクを広範囲にテストした。
  論文  参考訳（メタデータ） (2023-12-21T11:52:45Z)
• A systematic literature review on the development and use of mobile learning (web) apps by early adopters [0.0]
  既存のmラーニングアプリではカバーされていない問題に対処するために、さらに多くの教師が独自のアプリを開発している。 以上の結果から,アプリは教室外での自律的学習やフィールドトリップの開発に利用されており,主に協調活動に利用されていたことが示唆された。
  論文  参考訳（メタデータ） (2022-12-27T13:19:58Z)
• Authoring Platform for Mobile Citizen Science Apps with Client-side ML [0.0]
  市民科学プロジェクトの大部分は、異なる主題の写真やビデオが必要とされる視覚データに依存している。 本稿では,市民科学プロジェクトのためのモバイルアプリを簡単に作成するためのオーサリングプラットフォームを紹介する。 私たちのプラットフォームで作成されたアプリは、参加者が正しいデータを認識し、データ収集プロセスの効率を高めるのに役立ちます。
  論文  参考訳（メタデータ） (2022-12-11T05:10:23Z)
• Zero Experience Required: Plug & Play Modular Transfer Learning for Semantic Visual Navigation [97.17517060585875]
  新たなモジュール移動学習モデルを用いて視覚ナビゲーションに統一的な手法を提案する。 我々のモデルは、1つのソースタスクから経験を効果的に活用し、複数のターゲットタスクに適用することができる。 我々のアプローチはより速く学習し、より良く一般化し、大きなマージンでSoTAモデルを上回っます。
  論文  参考訳（メタデータ） (2022-02-05T00:07:21Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale [103.7609761511652]
  大規模集団ロボット学習システムが,行動のレパートリーを同時に獲得できることを示す。 新しいタスクは、以前学んだタスクから継続的にインスタンス化できる。 我々は,7台のロボットから収集したデータを用いて,実世界のタスク12組でシステムを訓練し,評価する。
  論文  参考訳（メタデータ） (2021-04-16T16:38:02Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving [96.50297622371457]
  マルチエージェントインタラクションは、現実の世界における自律運転の基本的な側面である。 研究と開発が10年以上続いたにもかかわらず、様々なシナリオで多様な道路ユーザーと対話する方法の問題は未解決のままである。 SMARTSと呼ばれる,多種多様な運転インタラクションを生成する専用シミュレーションプラットフォームを開発した。
  論文  参考訳（メタデータ） (2020-10-19T18:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。