論文の概要: Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data

• arxiv url: http://arxiv.org/abs/2210.14721v1
• Date: Tue, 25 Oct 2022 17:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 13:20:02.870078
• Title: Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data
• Title（参考訳）: sim-to-real via sim-to-seg:実データのないエンドツーエンドのオフロード自動運転
• Authors: John So, Amber Xie, Sunggoo Jung, Jeffrey Edlund, Rohan Thakker, Ali Agha-mohammadi, Pieter Abbeel, Stephen James
• Abstract要約: 我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
• 参考スコア（独自算出の注目度）: 56.49494318285391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous driving is complex, requiring sophisticated 3D scene understanding, localization, mapping, and control. Rather than explicitly modelling and fusing each of these components, we instead consider an end-to-end approach via reinforcement learning (RL). However, collecting exploration driving data in the real world is impractical and dangerous. While training in simulation and deploying visual sim-to-real techniques has worked well for robot manipulation, deploying beyond controlled workspace viewpoints remains a challenge. In this paper, we address this challenge by presenting Sim2Seg, a re-imagining of RCAN that crosses the visual reality gap for off-road autonomous driving, without using any real-world data. This is done by learning to translate randomized simulation images into simulated segmentation and depth maps, subsequently enabling real-world images to also be translated. This allows us to train an end-to-end RL policy in simulation, and directly deploy in the real-world. Our approach, which can be trained in 48 hours on 1 GPU, can perform equally as well as a classical perception and control stack that took thousands of engineering hours over several months to build. We hope this work motivates future end-to-end autonomous driving research.
• Abstract（参考訳）: 自動運転は複雑で、高度な3dシーン理解、ローカライゼーション、マッピング、制御を必要とする。 これらのコンポーネントを明示的にモデル化し、融合するのではなく、強化学習(RL)によるエンドツーエンドのアプローチを検討する。 しかし、現実世界での探索運転データ収集は非現実的で危険である。 シミュレーションのトレーニングとビジュアルsim-to-realテクニックのデプロイはロボット操作でうまくいったが、制御されたワークスペースの視点を超えたデプロイは依然として課題である。 本稿では、現実世界のデータを使わずに、オフロード自動運転の視覚的現実的ギャップを横切るRCANの再構成であるSim2Segを紹介し、この問題に対処する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深度マップに変換する学習によって行われ、現実世界のイメージも変換できる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。 当社のアプローチは、1GPU上で48時間でトレーニング可能で、何ヶ月もかけて何千時間ものエンジニアリング時間を要した古典的な認識とコントロールスタックと同等に機能します。 この研究が将来のエンドツーエンドの自動運転研究の動機になることを願っている。

関連論文リスト

• DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation [54.02069690134526]
  本研究では,現実的でクローズドループなシミュレーションフレームワークであるDrivingSphereを提案する。 その中核となる考え方は、4Dの世界表現を構築し、実生活と制御可能な運転シナリオを生成することである。 動的で現実的なシミュレーション環境を提供することで、DrivingSphereは自律運転アルゴリズムの包括的なテストと検証を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T03:00:33Z)
• Learning autonomous driving from aerial imagery [67.06858775696453]
  フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
  論文  参考訳（メタデータ） (2024-10-18T05:09:07Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Data generation using simulation technology to improve perception mechanism of autonomous vehicles [0.0]
  実世界から収集したデータと模擬世界から生成されたデータを組み合わせることで、認識システムを訓練する効果を実証する。 また,人間の学習体験をエミュレートすることを目的とした多段階深層学習知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:42:33Z)
• VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles [131.2240621036954]
  VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。 高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。 センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2021-11-23T18:58:10Z)
• SimNet: Learning Reactive Self-driving Simulations from Real-world Observations [10.035169936164504]
  運転体験を現実的にシミュレートできるエンドツーエンドのトレーニング可能な機械学習システムを提案する。 これは、高価で時間を要する道路テストに頼ることなく、自動運転システムのパフォーマンスの検証に使用できる。
  論文  参考訳（メタデータ） (2021-05-26T05:14:23Z)
• Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。 本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。 トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2020-09-23T15:23:54Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)
• Simulation-based reinforcement learning for real-world autonomous driving [9.773015744446067]
  実物大の車両を制御する駆動システムを実現するために,シミュレーションにおいて強化学習を用いる。 駆動ポリシは、単一のカメラからのRGBイメージと、それらのセマンティックセグメンテーションを入力として取り込む。 主に合成データを使用し、ラベル付き実世界のデータはセグメンテーションネットワークのトレーニングにのみ現れる。
  論文  参考訳（メタデータ） (2019-11-29T00:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。