論文の概要: RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real
- arxiv url: http://arxiv.org/abs/2006.09001v1
- Date: Tue, 16 Jun 2020 08:58:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 20:38:34.894357
- Title: RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real
- Title（参考訳）: rl-cyclegan:強化学習を考慮したシミュレーション
- Authors: Kanishka Rao, Chris Harris, Alex Irpan, Sergey Levine, Julian Ibarz,
Mohi Khansari
- Abstract要約: 本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
- 参考スコア（独自算出の注目度）: 74.45688231140689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network based reinforcement learning (RL) can learn appropriate
visual representations for complex tasks like vision-based robotic grasping
without the need for manually engineering or prior learning a perception
system. However, data for RL is collected via running an agent in the desired
environment, and for applications like robotics, running a robot in the real
world may be extremely costly and time consuming. Simulated training offers an
appealing alternative, but ensuring that policies trained in simulation can
transfer effectively into the real world requires additional machinery.
Simulations may not match reality, and typically bridging the
simulation-to-reality gap requires domain knowledge and task-specific
engineering. We can automate this process by employing generative models to
translate simulated images into realistic ones. However, this sort of
translation is typically task-agnostic, in that the translated images may not
preserve all features that are relevant to the task. In this paper, we
introduce the RL-scene consistency loss for image translation, which ensures
that the translation operation is invariant with respect to the Q-values
associated with the image. This allows us to learn a task-aware translation.
Incorporating this loss into unsupervised domain translation, we obtain
RL-CycleGAN, a new approach for simulation-to-real-world transfer for
reinforcement learning. In evaluations of RL-CycleGAN on two vision-based
robotics grasping tasks, we show that RL-CycleGAN offers a substantial
improvement over a number of prior methods for sim-to-real transfer, attaining
excellent real-world performance with only a modest number of real-world
observations.
- Abstract（参考訳）: ディープニューラルネットワークに基づく強化学習(RL)は、手動のエンジニアリングや知覚システムの事前学習を必要とせずに、視覚ベースのロボットグリップのような複雑なタスクのための適切な視覚表現を学習することができる。
しかし、RLのデータは、望ましい環境でエージェントを走らせることで収集され、ロボット工学のようなアプリケーションでは、現実世界でロボットを走らせるのは非常にコストがかかり、時間がかかります。
シミュレーショントレーニングは魅力的な代替手段を提供するが、シミュレーションで訓練されたポリシーが現実世界に効果的に移行できるようにするには、追加の機械が必要である。
シミュレーションは現実と一致せず、一般的にシミュレーションと現実のギャップを埋めるにはドメイン知識とタスク固有のエンジニアリングが必要です。
生成モデルを使ってシミュレーション画像をリアルな画像に変換することで、このプロセスを自動化できます。
しかし、この種の翻訳は通常タスクに依存しず、翻訳された画像はタスクに関連する全ての特徴を保存しない。
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
これにより、タスク対応翻訳を学べます。
この損失を教師なしドメイン翻訳に組み込んだRL-CycleGANは、強化学習のためのシミュレーションから実世界へのトランスファーのための新しいアプローチである。
RL-CycleGANを2つの視覚系ロボットグルーピングタスクで評価したところ、RL-CycleGANは従来のシミュレート・トゥ・リアル・トランスファー法よりも大幅に改善され、少ない数の実世界観測で優れた実世界性能が得られることがわかった。
関連論文リスト
- DrEureka: Language Model Guided Sim-To-Real Transfer [64.14314476811806]
シミュレーションで学んだ政策を現実世界に伝達することは、ロボットのスキルを大規模に獲得する上で有望な戦略である。
本稿では,Large Language Models (LLMs) を用いてシム・トゥ・リアル設計の自動化と高速化を行う。
本手法では,ヨガボールの上を歩行する四足歩行や四足歩行など,新しいロボットタスクを解くことができる。
論文 参考訳（メタデータ） (2024-06-04T04:53:05Z) - TWIST: Teacher-Student World Model Distillation for Efficient
Sim-to-Real Transfer [23.12048336150798]
本稿では,TWIST(Teacher-Student World Model Distillation for Sim-to-Real Transfer)を提案する。
具体的には、TWISTは状態観察をシミュレータから取得した特権情報として利用し、シミュレート・トゥ・リアル転送を著しく高速化する。
論文 参考訳（メタデータ） (2023-11-07T00:18:07Z) - SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via
Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。
SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。
我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
論文 参考訳（メタデータ） (2022-10-27T05:30:43Z) - Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving
Without Real Data [56.49494318285391]
我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。
これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。
これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
論文 参考訳（メタデータ） (2022-10-25T17:50:36Z) - Sim2real for Reinforcement Learning Driven Next Generation Networks [4.29590751118341]
Reinforcement Learning (RL) モデルは、RAN関連多目的最適化問題の解決の鍵と見なされている。
主な理由の1つはシミュレーションと実環境の間のモデリングギャップであり、RLエージェントは実環境に不適合なシミュレーションによって訓練される可能性がある。
この記事では、Open RAN(O-RAN)のコンテキストにおけるsim2realチャレンジについて述べます。
実環境におけるシミュレーション訓練されたRLモデルの障害モードを実証し、実証するために、いくつかのユースケースが提示される。
論文 参考訳（メタデータ） (2022-06-08T12:40:24Z) - Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。
我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
論文 参考訳（メタデータ） (2022-02-03T21:43:06Z) - MELD: Meta-Reinforcement Learning from Images via Latent State Models [109.1664295663325]
我々は,遅延状態モデルで推論を行う画像からメタRLのアルゴリズムを開発し,新しいスキルを素早く獲得する。
MELDは、画像から現実のロボット制御設定でトレーニングされた最初のメタRLアルゴリズムである。
論文 参考訳（メタデータ） (2020-10-26T23:50:30Z) - Robust Reinforcement Learning-based Autonomous Driving Agent for
Simulation and Real World [0.0]
本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。
本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。
トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
論文 参考訳（メタデータ） (2020-09-23T15:23:54Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。