論文の概要: Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from
Offline Data
- arxiv url: http://arxiv.org/abs/2306.03346v2
- Date: Mon, 26 Feb 2024 02:25:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:38:37.734049
- Title: Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from
Offline Data
- Title(参考訳): コントラストRLの安定化:オフラインデータからのロボットゴールリーチ技術
- Authors: Chongyi Zheng, Benjamin Eysenbach, Homer Walke, Patrick Yin, Kuan
Fang, Ruslan Salakhutdinov, Sergey Levine
- Abstract要約: 自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。
我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。
コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
- 参考スコア(独自算出の注目度): 101.43350024175157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robotic systems that rely primarily on self-supervised learning have the
potential to decrease the amount of human annotation and engineering effort
required to learn control strategies. In the same way that prior robotic
systems have leveraged self-supervised techniques from computer vision (CV) and
natural language processing (NLP), our work builds on prior work showing that
the reinforcement learning (RL) itself can be cast as a self-supervised
problem: learning to reach any goal without human-specified rewards or labels.
Despite the seeming appeal, little (if any) prior work has demonstrated how
self-supervised RL methods can be practically deployed on robotic systems. By
first studying a challenging simulated version of this task, we discover design
decisions about architectures and hyperparameters that increase the success
rate by $2 \times$. These findings lay the groundwork for our main result: we
demonstrate that a self-supervised RL algorithm based on contrastive learning
can solve real-world, image-based robotic manipulation tasks, with tasks being
specified by a single goal image provided after training.
- Abstract(参考訳): 主に自己指導型学習に依存するロボットシステムは、制御戦略を学ぶのに必要な人的アノテーションや工学的労力を削減できる可能性がある。
従来のロボットシステムがコンピュータビジョン(cv)と自然言語処理(nlp)の自己教師あり技術を活用するのと同じように、強化学習(rl)自体が自己教師ありの問題として、人間に特定された報酬やラベルなしで任意の目標に到達するための学習としてキャストできることを示す、先行研究に基づいています。
魅力的に見えるものの、自己監督されたrlメソッドが実際にロボットシステムにデプロイされる様子を(もしあるとしても)実証した例はほとんどない。
まず、このタスクの難しいシミュレートバージョンを調べることで、アーキテクチャとハイパーパラメータに関する設計決定が成功率を2 \times$で高めることを発見します。
コントラスト学習に基づく自己教師型RLアルゴリズムが、実世界の画像に基づくロボット操作タスクを解決し、トレーニング後に提供された1つのゴールイメージによってタスクが特定できることを実証した。
関連論文リスト
- Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳(メタデータ) (2023-10-23T17:50:08Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Don't Start From Scratch: Leveraging Prior Data to Automate Robotic
Reinforcement Learning [70.70104870417784]
強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。
現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。
本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
論文 参考訳(メタデータ) (2022-07-11T08:31:22Z) - Accelerating Robotic Reinforcement Learning via Parameterized Action
Primitives [92.0321404272942]
強化学習は汎用ロボットシステムの構築に使用することができる。
しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。
本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。
動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
論文 参考訳(メタデータ) (2021-10-28T17:59:30Z) - Deep Adversarial Reinforcement Learning for Object Disentangling [36.66974848126079]
本稿では, 廃棄物の密接化を図り, 対人強化学習(ARL)フレームワークを提案する。
ARLフレームワークは、元のエージェントであるプロタゴニストを挑戦する状態に操るために訓練された敵を利用する。
本手法は,ロボット制御のためのエンドツーエンドシステムを用いて,難易度の高い物体分離タスクを学習することにより,シナリオの学習からテストまでを一般化できることを示す。
論文 参考訳(メタデータ) (2020-03-08T13:20:39Z) - Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。
我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。
従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
論文 参考訳(メタデータ) (2020-02-25T18:56:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。