論文の概要: DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2406.11896v1
• Date: Fri, 14 Jun 2024 17:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 00:55:56.851080
• Title: DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning
• Title（参考訳）: DigiRL: 自律強化学習によるWildデバイス制御エージェントのトレーニング
• Authors: Hao Bai, Yifei Zhou, Mert Cemri, Jiayi Pan, Alane Suhr, Sergey Levine, Aviral Kumar,
• Abstract要約: 本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
• 参考スコア（独自算出の注目度）: 61.10299147201369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training corpuses for vision language models (VLMs) typically lack sufficient amounts of decision-centric data. This renders off-the-shelf VLMs sub-optimal for decision-making tasks such as in-the-wild device control through graphical user interfaces (GUIs). While training with static demonstrations has shown some promise, we show that such methods fall short for controlling real GUIs due to their failure to deal with real-world stochasticity and non-stationarity not captured in static observational data. This paper introduces a novel autonomous RL approach, called DigiRL, for training in-the-wild device control agents through fine-tuning a pre-trained VLM in two stages: offline RL to initialize the model, followed by offline-to-online RL. To do this, we build a scalable and parallelizable Android learning environment equipped with a VLM-based evaluator and develop a simple yet effective RL approach for learning in this domain. Our approach runs advantage-weighted RL with advantage estimators enhanced to account for stochasticity along with an automatic curriculum for deriving maximal learning signal. We demonstrate the effectiveness of DigiRL using the Android-in-the-Wild (AitW) dataset, where our 1.3B VLM trained with RL achieves a 49.5% absolute improvement -- from 17.7 to 67.2% success rate -- over supervised fine-tuning with static human demonstration data. These results significantly surpass not only the prior best agents, including AppAgent with GPT-4V (8.3% success rate) and the 17B CogAgent trained with AitW data (38.5%), but also the prior best autonomous RL approach based on filtered behavior cloning (57.8%), thereby establishing a new state-of-the-art for digital agents for in-the-wild device control.
• Abstract（参考訳）: ビジョン言語モデル(VLM)のトレーニングコーパスは、一般的に十分な量の意思決定中心のデータを欠いている。 これは、グラフィカルユーザインタフェース(GUI)を介して、Wildデバイス制御のような意思決定タスクに対して、既製のVLMのサブ最適化をレンダリングする。 静的な実演によるトレーニングはいくつかの可能性を示しているが、静的な観測データでは捉えられない実世界の確率性や非定常性に対処できないため、実際のGUIを制御できないことを示す。 本稿では、DigiRLと呼ばれる新しい自律型RLアプローチを導入し、トレーニング済みのVLMを2段階、オフラインで初期化し、続いてオフラインからオフラインのRLで微調整することで、Wildデバイス制御エージェントを訓練する。 これを実現するために,VLMベースの評価器を備えたスケーラブルで並列化可能なAndroid学習環境を構築し,この領域で学習する上で,シンプルで効果的なRLアプローチを開発した。 提案手法は,確率性を考慮した利点推定器と,最大学習信号の導出のための自動カリキュラムを併用して,優位重み付きRLを実行する。 我々はAndroid-in-the-Wild(AitW)データセットを使用してDigiRLの有効性を実証する。このデータセットでは、静的な人間のデモデータによる教師付き微調整よりも、RLでトレーニングされた1.3B VLMが、絶対的な改善(17.7から67.2%の成功率)を49.5%達成している。 これらの結果は、GPT-4VのAppAgent(8.3%の成功率)や、AITWのデータで訓練された17B CogAgent(38.5%)、フィルターされた行動クローニング(57.8%)に基づく事前の自律的RLアプローチ(57.8%)など、従来のベストエージェントをはるかに上回っている。

関連論文リスト

• DistRL: An Asynchronous Distributed Reinforcement Learning Framework for On-Device Control Agents [38.0441002097771]
  DistRLは、モバイルデバイス制御エージェントのオンラインRLファインチューニングの効率を高めるために設計された、新しいフレームワークである。 平均して、DistRLはトレーニング効率を3倍改善し、主要な同期マルチマシンメソッドよりも2.4倍高速なトレーニングデータ収集を可能にする。
  論文  参考訳（メタデータ） (2024-10-18T18:19:56Z)
• Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
  我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。 われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
  論文  参考訳（メタデータ） (2024-10-01T10:25:03Z)
• An Extremely Data-efficient and Generative LLM-based Reinforcement Learning Agent for Recommenders [1.0154385852423122]
  強化学習(RL)アルゴリズムは、長期顧客満足度を最大化し、産業レコメンデーションシステムにおける短期的、筋電図的目標を回避するために有効である。 目標は、RLエージェントをトレーニングして購入報酬を最大化することである。 本報告では, 生成的軌跡を用いて訓練したRL剤についても検討した。
  論文  参考訳（メタデータ） (2024-08-28T10:31:50Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• A Real-World Quadrupedal Locomotion Benchmark for Offline Reinforcement Learning [27.00483962026472]
  現実的な四足歩行データセットにおける11のオフライン強化学習アルゴリズムをベンチマークした。 実験の結果,ORLアルゴリズムはモデルフリーのRLに比べて競争性能がよいことがわかった。 提案するベンチマークは,実世界の歩行作業におけるORLアルゴリズムの性能をテスト・評価するための開発プラットフォームとして機能する。
  論文  参考訳（メタデータ） (2023-09-13T13:18:29Z)
• Real-Time Model-Free Deep Reinforcement Learning for Force Control of a Series Elastic Actuator [56.11574814802912]
  最先端のロボットアプリケーションは、歩行、揚力、操作などの複雑なタスクを達成するために、閉ループ力制御を備えた連続弾性アクチュエータ(SEAs)を使用する。 モデルフリーPID制御法はSEAの非線形性により不安定になりやすい。 深層強化学習は連続制御タスクに有効なモデルレス手法であることが証明されている。
  論文  参考訳（メタデータ） (2023-04-11T00:51:47Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。