論文の概要: Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2310.15145v1
• Date: Mon, 23 Oct 2023 17:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 18:04:42.634403
• Title: Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning
• Title（参考訳）: ロボットのファインチューニングが簡単になった: 自律的実世界強化学習のための事前学習リワードとポリシー
• Authors: Jingyun Yang, Max Sobol Mark, Brandon Vu, Archit Sharma, Jeannette Bohg, Chelsea Finn
• Abstract要約: ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
• 参考スコア（独自算出の注目度）: 58.3994826169858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pre-train and fine-tune paradigm in machine learning has had dramatic success in a wide range of domains because the use of existing data or pre-trained models on the internet enables quick and easy learning of new tasks. We aim to enable this paradigm in robotic reinforcement learning, allowing a robot to learn a new task with little human effort by leveraging data and models from the Internet. However, reinforcement learning often requires significant human effort in the form of manual reward specification or environment resets, even if the policy is pre-trained. We introduce RoboFuME, a reset-free fine-tuning system that pre-trains a multi-task manipulation policy from diverse datasets of prior experiences and self-improves online to learn a target task with minimal human intervention. Our insights are to utilize calibrated offline reinforcement learning techniques to ensure efficient online fine-tuning of a pre-trained policy in the presence of distribution shifts and leverage pre-trained vision language models (VLMs) to build a robust reward classifier for autonomously providing reward signals during the online fine-tuning process. In a diverse set of five real robot manipulation tasks, we show that our method can incorporate data from an existing robot dataset collected at a different institution and improve on a target task within as little as 3 hours of autonomous real-world experience. We also demonstrate in simulation experiments that our method outperforms prior works that use different RL algorithms or different approaches for predicting rewards. Project website: https://robofume.github.io
• Abstract（参考訳）: 機械学習における事前学習と微調整のパラダイムは、インターネット上で既存のデータや事前学習モデルを使用することで、新しいタスクを迅速かつ簡単に学習できるため、幅広い領域で劇的な成功を収めている。 我々はロボット強化学習におけるこのパラダイムの実現を目指しており、インターネットからのデータとモデルを活用することで、ロボットがほとんど人間の努力なしに新しいタスクを学べるようにしている。 しかし、強化学習は、たとえ政策が事前訓練されたとしても、手動報酬仕様や環境リセットという形で、多大な人的努力を必要とすることが多い。 本稿では,事前経験の多種多様なデータセットからマルチタスク操作ポリシを事前学習するリセットフリーな微調整システムであるrobofumeを紹介する。 我々の知見は、調整されたオフライン強化学習技術を利用して、分散シフトが存在する場合の事前訓練済みポリシーの効率的なオンライン微調整を確実にし、事前訓練された視覚言語モデル(VLM)を利用して、オンライン微調整プロセス中に報酬信号を自律的に提供する堅牢な報酬分類器を構築することである。 5つのロボット操作タスクの多種多様なセットにおいて、我々は、異なる施設で収集された既存のロボットデータセットからデータを組み込むことができ、目標タスクを3時間以内の自律現実体験で改善できることを示した。 またシミュレーション実験において,提案手法は,異なるRLアルゴリズムや異なるアプローチを用いて報酬を予測する先行作業よりも優れることを示した。 プロジェクトサイト: https://robofume.github.io

関連論文リスト

• Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
  ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。 我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。 実験により,ベイズモデルに基づくRL手法の利点が示された。
  論文  参考訳（メタデータ） (2024-04-02T11:44:37Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning [70.70104870417784]
  強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。 現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。 本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2022-07-11T08:31:22Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic Reinforcement Learning [109.77163932886413]
  本稿では,ロボットによるロボット操作ポリシーを,政治以外の強化学習を通じて微調整することで,新たなバリエーションに適応する方法を示す。 この適応は、タスクをゼロから学習するために必要なデータの0.2%未満を使用する。 事前訓練されたポリシーを適用するという私たちのアプローチは、微調整の過程で大きなパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2020-04-21T17:57:04Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。