論文の概要: Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery

• arxiv url: http://arxiv.org/abs/2204.13906v1
• Date: Fri, 29 Apr 2022 06:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 15:09:12.021282
• Title: Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
• Title（参考訳）: 移動可能操作スキル発見のための教師なし強化学習
• Authors: Daesol Cho, Jigang Kim, H. Jin Kim
• Abstract要約: ロボット工学における現在の強化学習(RL)は、しばしば新しい下流タスクへの一般化の難しさを経験する。 本稿では,タスク固有の報酬にアクセスできることなく,タスクに依存しない方法でエージェントを事前訓練するフレームワークを提案する。 提案手法は,最も多様なインタラクション動作を実現し,下流タスクのサンプル効率を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 22.32327908453603
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current reinforcement learning (RL) in robotics often experiences difficulty in generalizing to new downstream tasks due to the innate task-specific training paradigm. To alleviate it, unsupervised RL, a framework that pre-trains the agent in a task-agnostic manner without access to the task-specific reward, leverages active exploration for distilling diverse experience into essential skills or reusable knowledge. For exploiting such benefits also in robotic manipulation, we propose an unsupervised method for transferable manipulation skill discovery that ties structured exploration toward interacting behavior and transferable skill learning. It not only enables the agent to learn interaction behavior, the key aspect of the robotic manipulation learning, without access to the environment reward, but also to generalize to arbitrary downstream manipulation tasks with the learned task-agnostic skills. Through comparative experiments, we show that our approach achieves the most diverse interacting behavior and significantly improves sample efficiency in downstream tasks including the extension to multi-object, multitask problems.
• Abstract（参考訳）: ロボット工学における現在の強化学習(RL)は、本質的なタスク固有の訓練パラダイムのため、新しい下流タスクへの一般化が難しい場合が多い。 タスク固有の報酬にアクセスせずに、エージェントをタスクに依存しない方法で事前トレーニングするフレームワークであるunsupervised rlは、さまざまな経験を本質的なスキルや再利用可能な知識に蒸留するために、積極的な探索を利用する。 ロボット操作においてもそのような利点を生かして,対話行動や伝達可能なスキル学習に構造的探索を結びつける,伝達可能な操作スキル発見のための教師なし手法を提案する。 これによってエージェントは、ロボット操作学習の重要な側面であるインタラクションの振る舞いを学習できるだけでなく、学習されたタスク非依存のスキルで任意の下流操作タスクに一般化することができる。 比較実験により,本手法は多目的マルチタスク問題の拡張を含む下流タスクにおいて,最も多様な対話動作を実現し,サンプル効率を大幅に向上することを示す。

関連論文リスト

• SLIM: Skill Learning with Multiple Critics [8.645929825516818]
  自己指導型スキル学習は、環境の基盤となるダイナミクスを活用する有用な行動を取得することを目的としている。 相互情報に基づく潜在変数モデルは、このタスクでは成功したが、ロボット操作の文脈では依然として苦戦している。 SLIMは,ロボット操作に特化して,スキル発見のための多批判学習手法である。
  論文  参考訳（メタデータ） (2024-02-01T18:07:33Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning [7.51557557629519]
  本稿では,主課題,複数の補助課題に加えて,専門家による実演を活用するためのフレームワークであるLearning from Guided Play (LfGP)を紹介する。 主なタスクに対する学習効率は、ボトルネック遷移に挑戦して改善され、専門家データがタスク間で再利用可能になり、学習した補助タスクモデルの再利用を通じて学習を移行することが可能になります。
  論文  参考訳（メタデータ） (2021-12-16T14:58:08Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Learning Task Agnostic Skills with Data-driven Guidance [0.0]
  本稿では,専門家が訪問する状態のサブセットに向けて,スキル発見を導くための枠組みを提案する。 本手法を各種強化学習タスクに適用し,このような予測がより有用な行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-04T06:53:10Z)
• Behavior Self-Organization Supports Task Inference for Continual Robot Learning [18.071689266826212]
  本稿では,ロボット制御タスクの連続学習に対する新しいアプローチを提案する。 本手法は, 漸進的に自己組織化された行動によって, 行動埋め込みの教師なし学習を行う。 従来の手法とは異なり,本手法ではタスク分布の仮定は行わず,タスクを推論するタスク探索も必要としない。
  論文  参考訳（メタデータ） (2021-07-09T16:37:27Z)
• Discovering Generalizable Skills via Automated Generation of Diverse Tasks [82.16392072211337]
  本稿では,多種多様なタスクの自動生成による一般化可能なスキルの発見手法を提案する。 教師なしスキル発見の先行研究とは対照的に,本手法では各スキルをトレーニング可能なタスクジェネレータが生成するユニークなタスクとペアリングする。 生成したタスクにおけるロボットの動作に定義されたタスク判別器を共同で訓練し、多様性目標の低いエビデンスを推定する。 学習スキルは階層的な強化学習アルゴリズムで構成され、目に見えない目標タスクを解決する。
  論文  参考訳（メタデータ） (2021-06-26T03:41:51Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale [103.7609761511652]
  大規模集団ロボット学習システムが,行動のレパートリーを同時に獲得できることを示す。 新しいタスクは、以前学んだタスクから継続的にインスタンス化できる。 我々は,7台のロボットから収集したデータを用いて,実世界のタスク12組でシステムを訓練し,評価する。
  論文  参考訳（メタデータ） (2021-04-16T16:38:02Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards [14.937474939057596]
  ロボットマニピュレータは、非常にまばらな指示信号しか提供されていなくても、タスクを達成できることを学ぶことが重要である。 本稿では,任意の標準強化学習アルゴリズムに容易に組み込むことができる本質的な動機づけ手法を提案する。
  論文  参考訳（メタデータ） (2020-10-15T19:06:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。