論文の概要: COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2010.14500v1
• Date: Tue, 27 Oct 2020 17:57:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 13:10:16.460574
• Title: COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning
• Title（参考訳）: COG:オフライン強化学習による新しいスキルと過去の経験を結びつける
• Authors: Avi Singh, Albert Yu, Jonathan Yang, Jesse Zhang, Aviral Kumar, Sergey Levine
• Abstract要約: 我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
• 参考スコア（独自算出の注目度）: 78.13740204156858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has been applied to a wide variety of robotics problems, but most of such applications involve collecting data from scratch for each new task. Since the amount of robot data we can collect for any single task is limited by time and cost considerations, the learned behavior is typically narrow: the policy can only execute the task in a handful of scenarios that it was trained on. What if there was a way to incorporate a large amount of prior data, either from previously solved tasks or from unsupervised or undirected environment interaction, to extend and generalize learned behaviors? While most prior work on extending robotic skills using pre-collected data focuses on building explicit hierarchies or skill decompositions, we show in this paper that we can reuse prior data to extend new skills simply through dynamic programming. We show that even when the prior data does not actually succeed at solving the new task, it can still be utilized for learning a better policy, by providing the agent with a broader understanding of the mechanics of its environment. We demonstrate the effectiveness of our approach by chaining together several behaviors seen in prior datasets for solving a new task, with our hardest experimental setting involving composing four robotic skills in a row: picking, placing, drawer opening, and grasping, where a +1/0 sparse reward is provided only on task completion. We train our policies in an end-to-end fashion, mapping high-dimensional image observations to low-level robot control commands, and present results in both simulated and real world domains. Additional materials and source code can be found on our project website: https://sites.google.com/view/cog-rl
• Abstract（参考訳）: 強化学習は様々なロボティクス問題に応用されてきたが、ほとんどのアプリケーションは、新しいタスクごとにスクラッチからデータを収集する。 単一のタスクのために収集できるロボットデータの量は時間とコストの考慮によって制限されるため、学習された動作は通常狭く、ポリシーはトレーニングされたいくつかのシナリオでのみタスクを実行することができる。 以前に解決されたタスクから、あるいは教師なしまたは指示なしの環境相互作用から、大量の事前データを組み込んで学習行動を拡張し、一般化する方法があったらどうでしょう? 事前に収集したデータを用いてロボットスキルを拡張する作業は、明示的な階層やスキル分解の構築に重点を置いているが、本稿では、事前データを再利用して、動的プログラミングによって新しいスキルを拡張することができることを示す。 我々は,事前データが新しい課題の解決に成功していない場合でも,エージェントにその環境の仕組みをより深く理解させることで,より優れた方針の学習に利用できることを示す。 我々は,新しい課題を解決するための事前データセットに見られるいくつかの行動と,ロボットの4つのスキル(ピッキング,配置,引き出しの開口,把持)を連続して構成することを含む最も実験的な設定を結びつけることで,このアプローチの有効性を実証する。 我々は、エンドツーエンドでポリシーを訓練し、高次元画像観察を低レベルロボット制御コマンドにマッピングし、シミュレーションと実世界の両方の領域で結果を示す。 追加の資料とソースコードは、プロジェクトのWebサイトにある。

関連論文リスト

• Online Continual Learning For Interactive Instruction Following Agents [20.100312650193228]
  このような学習シナリオは,ロボットエージェントが世界を探索し,知覚する上で,継続的に世界を学ぶことが求められているため,現実的ではない,と我々は主張する。 本研究では,新しい行動学習と新しい環境学習という,エンボディエージェントのための2つの連続学習環境を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:33:48Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Pre-Training for Robots: Offline RL Enables Learning New Tasks from a Handful of Trials [97.95400776235736]
  新しいタスクを効果的に学習しようとするオフラインRLに基づくフレームワークを提案する。 既存のロボットデータセットの事前トレーニングと、新しいタスクの迅速な微調整と、最大10のデモを組み合わせたものだ。 我々の知る限り、PTRは本物のWidowXロボットで新しいドメインで新しいタスクを学習する最初のRL手法である。
  論文  参考訳（メタデータ） (2022-10-11T06:30:53Z)
• Bridge Data: Boosting Generalization of Robotic Skills with Cross-Domain Datasets [122.85598648289789]
  マルチドメインとマルチタスクのデータセットが、新しい環境における新しいタスクの学習を改善する方法について検討する。 また、新しいドメイン内の少数のタスクのみのデータによって、ドメインギャップを埋めることができ、ロボットが他のドメインでしか見られなかったさまざまなタスクを実行できることもわかりました。
  論文  参考訳（メタデータ） (2021-09-27T23:42:12Z)
• Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills [93.12417203541948]
  与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。 提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
  論文  参考訳（メタデータ） (2021-04-15T20:10:11Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。