論文の概要: Skill Transfer and Discovery for Sim-to-Real Learning: A Representation-Based Viewpoint

• arxiv url: http://arxiv.org/abs/2404.05051v1
• Date: Sun, 7 Apr 2024 19:22:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 16:02:57.708521
• Title: Skill Transfer and Discovery for Sim-to-Real Learning: A Representation-Based Viewpoint
• Title（参考訳）: シン・トゥ・リアル・ラーニングのためのスキル・トランスファーと発見:表現に基づく視点
• Authors: Haitong Ma, Zhaolin Ren, Bo Dai, Na Li,
• Abstract要約: 表現学習を用いたロボット制御の文脈において,シミュレート・トゥ・リアルなスキル伝達と発見について検討した。 本研究では,実世界のデータから,シム・トゥ・リアルのギャップに起因する新たなスキルを学習する技術発見アルゴリズムを提案する。 我々のスキル発見アプローチは、sim-to-realギャップを狭め、現実世界のコントローラのパフォーマンスを最大30.2%向上させるのに役立つ。
• 参考スコア（独自算出の注目度）: 13.28437541072843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study sim-to-real skill transfer and discovery in the context of robotics control using representation learning. We draw inspiration from spectral decomposition of Markov decision processes. The spectral decomposition brings about representation that can linearly represent the state-action value function induced by any policies, thus can be regarded as skills. The skill representations are transferable across arbitrary tasks with the same transition dynamics. Moreover, to handle the sim-to-real gap in the dynamics, we propose a skill discovery algorithm that learns new skills caused by the sim-to-real gap from real-world data. We promote the discovery of new skills by enforcing orthogonal constraints between the skills to learn and the skills from simulators, and then synthesize the policy using the enlarged skill sets. We demonstrate our methodology by transferring quadrotor controllers from simulators to Crazyflie 2.1 quadrotors. We show that we can learn the skill representations from a single simulator task and transfer these to multiple different real-world tasks including hovering, taking off, landing and trajectory tracking. Our skill discovery approach helps narrow the sim-to-real gap and improve the real-world controller performance by up to 30.2%.
• Abstract（参考訳）: 表現学習を用いたロボット制御の文脈において,シミュレート・トゥ・リアルなスキル伝達と発見について検討した。 我々はマルコフ決定過程のスペクトル分解からインスピレーションを得る。 スペクトル分解は、任意のポリシーによって誘導される状態-作用値関数を線形に表現できる表現をもたらすため、スキルとみなすことができる。 スキル表現は、同じ遷移ダイナミクスを持つ任意のタスク間で転送可能である。 さらに,シミュレーションと現実のギャップを扱うために,実世界のデータとのシミュレーションと現実のギャップに起因する新たなスキルを学習するスキル発見アルゴリズムを提案する。 我々は,学習するスキルとシミュレーターのスキルの直交的制約を強制することで,新たなスキルの発見を促進し,拡張されたスキルセットを用いてポリシーを合成する。 シミュレーターからクレージーフリー2.1の4乗子に4乗子コントローラを移すことで,本手法を実証する。 1つのシミュレータータスクからスキル表現を学習し、ホバリング、離陸、着陸、軌道追跡を含む複数の現実世界タスクに伝達できることが示される。 我々のスキル発見アプローチは、sim-to-realギャップを狭め、現実世界のコントローラのパフォーマンスを最大30.2%向上させるのに役立つ。

関連論文リスト

• DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation [35.76143996968696]
  微分可能シミュレータから解析勾配で学習したロコモーションポリシーを実世界へ移動させることが可能であることを示す。 私たちの成功の重要な要因は、情報的勾配と物理的精度を組み合わせたスムーズな接触モデルです。 本物のクアッドペダルロボットが、独自のシミュレーションでトレーニングをした後で、独創的になれるのは、これが初めてだ。
  論文  参考訳（メタデータ） (2024-11-04T15:43:57Z)
• Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
  我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。 提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。 Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
  論文  参考訳（メタデータ） (2022-11-23T23:31:14Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)
• Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning [81.12201426668894]
  報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。 提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。 また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
  論文  参考訳（メタデータ） (2020-04-27T17:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。