論文の概要: CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator
- arxiv url: http://arxiv.org/abs/2410.18238v3
- Date: Tue, 19 Nov 2024 15:06:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:33:41.207236
- Title: CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator
- Title（参考訳）: CARLA2Real: CARLAシミュレータにおけるsim2realギャップを低減するツール
- Authors: Stefanos Pasios, Nikos Nikolaidis,
- Abstract要約: 我々は、シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し、それらを実世界のデータセットの視覚的特徴と整合させる。
そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターである。
このツールは、CARLAをほぼリアルタイムで出力し、13FPSのフレームレートを実現し、実世界のデータセットの視覚的スタイルとリアリズムに変換する。
- 参考スコア（独自算出の注目度）: 2.8978140690127328
- License:
- Abstract: Simulators are indispensable for research in autonomous systems such as self-driving cars, autonomous robots and drones. Despite significant progress in various simulation aspects, such as graphical realism, an evident gap persists between the virtual and real-world environments. Since the ultimate goal is to deploy the autonomous systems in the real world, closing the sim2real gap is of utmost importance. In this paper, we employ a state-of-the-art approach to enhance the photorealism of simulated data, aligning them with the visual characteristics of real-world datasets. Based on this, we developed CARLA2Real, an easy-to-use, publicly available tool (plug-in) for the widely used and open-source CARLA simulator. This tool enhances the output of CARLA in near real-time, achieving a frame rate of 13 FPS, translating it to the visual style and realism of real-world datasets such as Cityscapes, KITTI, and Mapillary Vistas. By employing the proposed tool, we generated synthetic datasets from both the simulator and the enhancement model outputs, including their corresponding ground truth annotations for tasks related to autonomous driving. Then, we performed a number of experiments to evaluate the impact of the proposed approach on feature extraction and semantic segmentation methods when trained on the enhanced synthetic data. The results demonstrate that the sim2real gap is significant and can indeed be reduced by the introduced approach.
- Abstract（参考訳）: シミュレーターは、自動運転車、自律ロボット、ドローンなどの自律システムの研究に欠かせない。
グラフィカルリアリズムのような様々なシミュレーションの面で大きな進歩があったが、仮想環境と現実世界環境の間に明らかなギャップは持続している。
最終的なゴールは、現実の世界で自律システムをデプロイすることなので、sim2realギャップを閉じることが最も重要です。
本稿では,シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し,実世界のデータセットの視覚的特徴と整合する。
そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターのための、使いやすい公開ツール(プラグイン)である。
このツールは、CARLAをほぼリアルタイムで出力し、フレームレートが13 FPSに達し、Cityscapes、KITTI、Mapillary Vistasといった現実世界のデータセットの視覚的スタイルとリアリズムに変換する。
提案ツールを用いて, シミュレータと拡張モデルから合成データセットを生成し, 自律運転に関連するタスクに対して, 対応する真理アノテーションを含む。
そこで本研究では,提案手法が改良された合成データに対して,特徴抽出および意味的セグメンテーション法に与える影響を評価するために,数多くの実験を行った。
その結果、sim2realのギャップは重要であり、実際に導入したアプローチによって低減できることを示した。
関連論文リスト
- Learning autonomous driving from aerial imagery [67.06858775696453]
フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。
我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
論文 参考訳（メタデータ） (2024-10-18T05:09:07Z) - Exploring Generative AI for Sim2Real in Driving Data Synthesis [6.769182994217369]
ドライビングシミュレータは、対応するアノテーションで様々なドライビングシナリオを自動的に生成するソリューションを提供するが、シミュレーションとリアリティ(Sim2Real)ドメインギャップは依然として課題である。
本稿では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
実験の結果,手動のアノテートラベルが提供されると,GANベースの手法は高品質な画像を生成するには適しているが,ControlNetは,シミュレータ生成ラベルを使用すると,より少ないアーティファクトとより構造的忠実度を持つ合成データセットを生成することがわかった。
論文 参考訳（メタデータ） (2024-04-14T01:23:19Z) - Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
論文 参考訳（メタデータ） (2024-03-24T11:09:41Z) - Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。
実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。
結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2024-03-22T17:49:11Z) - Learning to navigate efficiently and precisely in real environments [14.52507964172957]
Embodied AIの文献は、HabitatやAI-Thorといったシミュレータで訓練されたエンドツーエンドエージェントに焦点を当てている。
本研究では,sim2realのギャップを最小限に抑えたシミュレーションにおけるエージェントのエンドツーエンドトレーニングについて検討する。
論文 参考訳（メタデータ） (2024-01-25T17:50:05Z) - Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial
Application Case on Autonomous Disassembly [55.41644538483948]
我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。
合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。
この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
論文 参考訳（メタデータ） (2023-01-12T14:00:37Z) - Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving
Without Real Data [56.49494318285391]
我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。
これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。
これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
論文 参考訳（メタデータ） (2022-10-25T17:50:36Z) - VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and
Policy Learning for Autonomous Vehicles [131.2240621036954]
VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。
高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。
センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
論文 参考訳（メタデータ） (2021-11-23T18:58:10Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z) - Simulation-based reinforcement learning for real-world autonomous driving [9.773015744446067]
実物大の車両を制御する駆動システムを実現するために,シミュレーションにおいて強化学習を用いる。
駆動ポリシは、単一のカメラからのRGBイメージと、それらのセマンティックセグメンテーションを入力として取り込む。
主に合成データを使用し、ラベル付き実世界のデータはセグメンテーションネットワークのトレーニングにのみ現れる。
論文 参考訳（メタデータ） (2019-11-29T00:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。