論文の概要: AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents

• arxiv url: http://arxiv.org/abs/2410.24024v2
• Date: Mon, 04 Nov 2024 05:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:48.347931
• Title: AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents
• Title（参考訳）: AndroidLab: Android Autonomous Agentのトレーニングとシステムベンチマーク
• Authors: Yifan Xu, Xiao Liu, Xueqiao Sun, Siyi Cheng, Hao Yu, Hanyu Lai, Shudan Zhang, Dan Zhang, Jie Tang, Yuxiao Dong,
• Abstract要約: 我々は,AndroidLabをシステマティックなAndroidエージェントフレームワークとして提案する。 異なるモダリティ、アクションスペース、再現可能なベンチマークを備えた運用環境を含む。 大規模言語モデル(LLM)とマルチモーダルモデル(LMM)の両方を同一のアクション空間でサポートする。
• 参考スコア（独自算出の注目度）: 32.571194718225996
• License:
• Abstract: Autonomous agents have become increasingly important for interacting with the real world. Android agents, in particular, have been recently a frequently-mentioned interaction method. However, existing studies for training and evaluating Android agents lack systematic research on both open-source and closed-source models. In this work, we propose AndroidLab as a systematic Android agent framework. It includes an operation environment with different modalities, action space, and a reproducible benchmark. It supports both large language models (LLMs) and multimodal models (LMMs) in the same action space. AndroidLab benchmark includes predefined Android virtual devices and 138 tasks across nine apps built on these devices. By using the AndroidLab environment, we develop an Android Instruction dataset and train six open-source LLMs and LMMs, lifting the average success rates from 4.59% to 21.50% for LLMs and from 1.93% to 13.28% for LMMs. AndroidLab is open-sourced and publicly available at https://github.com/THUDM/Android-Lab.
• Abstract（参考訳）: 自律的なエージェントは、現実世界と対話する上でますます重要になっている。 特にAndroidエージェントは、最近頻繁に発生するインタラクションメソッドである。 しかし、既存のAndroidエージェントのトレーニングと評価のための研究は、オープンソースモデルとクローズドソースモデルの両方について体系的な研究を欠いている。 本研究では,AndroidLabをシステマティックなAndroidエージェントフレームワークとして提案する。 異なるモダリティ、アクションスペース、再現可能なベンチマークを備えた運用環境を含む。 大規模言語モデル(LLM)とマルチモーダルモデル(LMM)の両方を同一のアクション空間でサポートする。 AndroidLabベンチマークには、事前に定義されたAndroid仮想デバイスと、これらのデバイス上に構築された9つのアプリにまたがる138のタスクが含まれている。 AndroidLab環境を使用することで、Android Instructionデータセットを開発し、6つのオープンソースLLMとLMMをトレーニングし、LLMの平均成功率は4.59%から21.50%、LMMは1.93%から13.28%に引き上げる。 AndroidLabはオープンソースで、https://github.com/THUDM/Android-Labで公開されている。

関連論文リスト

• SlimLM: An Efficient Small Language Model for On-Device Document Assistance [60.971107009492606]
  SlimLMはモバイル端末上での文書支援タスクに最適化された一連のSLMである。 SlimLMはSlimPajama-627Bで事前訓練され、DocAssistで微調整されている。 我々はSlimLMを既存のSLMと比較し、同等または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-11-15T04:44:34Z)
• PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training [6.827011856777674]
  デバイス上でのデプロイメントのための既存の小さな言語モデル(SLM)は、デバイスハードウェアの特性を考慮していない。 本研究は, SLM設計において, 事前学習前の(ほぼ)最適実行効率のアーキテクチャ探索という, シンプルかつ効果的な原理を提示する。 我々はPhoneLMファミリ(現在0.5Bと1.5Bバージョン)を開発し、同様のパラメータサイズを持つ人の間で、最先端の能力効率トレードオフを実現する。
  論文  参考訳（メタデータ） (2024-11-07T02:19:00Z)
• AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents [5.044046039265116]
  私たちは、20の現実世界のAndroidアプリに116のプログラムタスクに対して報酬信号を提供する、完全に機能するAndroid環境であるAndroidWorldを紹介します。 静的テストセットを提供する既存のインタラクティブ環境とは異なり、AndroidWorldはパラメータ化され自然言語で表現されるタスクを動的に構築する。 私たちの最高のエージェントは、AndroidWorldのタスクの30.6%を完了できます。
  論文  参考訳（メタデータ） (2024-05-23T13:48:54Z)
• Holistic Autonomous Driving Understanding by Bird's-Eye-View Injected Multi-Modal Large Models [76.99140362751787]
  我々は17のサブタスクで91Kのマルチビュービデオ-QAペアを持つ新しいデータセットであるNuInstructを提案する。 また,BirdのEye-View特徴を効率的に抽出するエンドツーエンド手法であるBEV-InMLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-02T01:54:22Z)
• MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices [73.46317110474064]
  MobileVLM (MobileVLM) は、モバイルデバイス上で動作する多モード視覚言語モデル(MMVLM)である。 これは、CLIP方式で事前訓練されたマルチモーダル視覚モデルである、スクラッチからトレーニングされた1.4Bと2.7Bのスケールの言語モデルで構成されている。
  論文  参考訳（メタデータ） (2023-12-28T08:21:24Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• AutoDroid: LLM-powered Task Automation in Android [32.241570727243534]
  モバイルタスク自動化システムであるAutoDroidを紹介した。 主なコンポーネントは、LLMでUIをブリッジする機能対応UI表現メソッドである。 我々は、メモリ拡張Androidタスク自動化のための新しいベンチマークで、その性能を158の共通タスクで評価した。
  論文  参考訳（メタデータ） (2023-08-29T13:02:30Z)
• DroidBot-GPT: GPT-powered UI Automation for Android [11.980924738484994]
  DroidBot-GPTは、GPTに似た大規模言語モデル(LLM)を使用して、Androidモバイルアプリケーションとのインタラクションを自動化するツールである。 DroidBot-GPTは、所望のタスクを自然言語で記述するので、タスクを完了させるためにアプリをナビゲートするアクションを自動的に生成して実行することができる。
  論文  参考訳（メタデータ） (2023-04-14T11:31:56Z)
• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
  大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。 BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。 BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
  論文  参考訳（メタデータ） (2022-11-09T18:48:09Z)
• AndroidEnv: A Reinforcement Learning Platform for Android [41.572096255032946]
  AndroidEnvは、Androidエコシステム上に構築された強化学習(RL)研究のためのオープンソースプラットフォームである。 RLエージェントは、ユニバーサルタッチスクリーンインターフェースを通じて、人間が一般的に使用するさまざまなアプリやサービスと対話することができる。 エージェントはAndroidデバイスの現実的なシミュレーションを訓練するため、それらは実際のデバイスにデプロイされる可能性がある。
  論文  参考訳（メタデータ） (2021-05-27T15:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。