論文の概要: Contrastive Learning-Based Framework for Sim-to-Real Mapping of Lidar
Point Clouds in Autonomous Driving Systems
- arxiv url: http://arxiv.org/abs/2312.15817v1
- Date: Mon, 25 Dec 2023 21:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 16:17:24.372851
- Title: Contrastive Learning-Based Framework for Sim-to-Real Mapping of Lidar
Point Clouds in Autonomous Driving Systems
- Title（参考訳）: 自律運転システムにおけるライダーポイント雲の同時マッピングのためのコントラスト学習ベースフレームワーク
- Authors: Hamed Haghighi, Mehrdad Dianati, Kurt Debattista, Valentina Donzella
- Abstract要約: 本稿では,自動走行システムにおいて広く使われている知覚センサであるライダー点雲のシミュレートと実写マッピングに焦点を当てた。
画像と画像の翻訳技術の最近の進歩に触発された、コントラシティブ・ラーニングに基づく新しいSim-to-Realマッピングフレームワーク、すなわちCRS2Rを紹介する。
- 参考スコア（独自算出の注目度）: 10.964549009068344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Perception sensor models are essential elements of automotive simulation
environments; they also serve as powerful tools for creating synthetic datasets
to train deep learning-based perception models. Developing realistic perception
sensor models poses a significant challenge due to the large gap between
simulated sensor data and real-world sensor outputs, known as the sim-to-real
gap. To address this problem, learning-based models have emerged as promising
solutions in recent years, with unparalleled potential to map low-fidelity
simulated sensor data into highly realistic outputs. Motivated by this
potential, this paper focuses on sim-to-real mapping of Lidar point clouds, a
widely used perception sensor in automated driving systems. We introduce a
novel Contrastive-Learning-based Sim-to-Real mapping framework, namely CLS2R,
inspired by the recent advancements in image-to-image translation techniques.
The proposed CLS2R framework employs a lossless representation of Lidar point
clouds, considering all essential Lidar attributes such as depth, reflectance,
and raydrop. We extensively evaluate the proposed framework, comparing it with
state-of-the-art image-to-image translation methods using a diverse range of
metrics to assess realness, faithfulness, and the impact on the performance of
a downstream task. Our results show that CLS2R demonstrates superior
performance across nearly all metrics. Source code is available at
https://github.com/hamedhaghighi/CLS2R.git.
- Abstract（参考訳）: 知覚センサーモデルは、自動車シミュレーション環境の重要な要素であり、深層学習に基づく知覚モデルをトレーニングするための合成データセットを作成する強力なツールとしても機能する。
リアルな知覚センサモデルの開発は、シミュレーションされたセンサデータと現実世界のセンサー出力との間に大きなギャップがあるため、大きな課題となる。
この問題に対処するために、学習ベースのモデルは近年、低忠実度シミュレーションセンサーデータを非常に現実的な出力にマッピングする非並列ポテンシャルを持つ有望な解決策として現れてきた。
この可能性に動機づけられた本論文は、自動運転システムで広く使われている知覚センサlidar point cloudのsim-to-realマッピングに焦点を当てている。
画像と画像の翻訳技術の最近の進歩に触発された、コントラシティブ・ラーニングに基づく新しいSim-to-Realマッピングフレームワーク、すなわちCRS2Rを紹介する。
提案した CLS2R フレームワークは,深度,反射率,レイドロップといった重要な Lidar 属性をすべて考慮し,ライダー点雲のロスレス表現を用いている。
提案手法を最新の画像から画像への変換手法と比較し,実存性,忠実性,ダウンストリームタスクのパフォーマンスへの影響を多種多様な指標を用いて評価した。
以上の結果から,CLS2Rはほとんど全ての指標において優れた性能を示した。
ソースコードはhttps://github.com/hamedhaghighi/CLS2R.gitで入手できる。
関連論文リスト
- Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
論文 参考訳（メタデータ） (2024-03-24T11:09:41Z) - GAN-Based LiDAR Intensity Simulation [3.8697834534260447]
私たちは、実際のテストドライブからカメライメージとLiDARスキャンを変換するために、GANをトレーニングします。
我々は,物体検出ネットワークが実点と合成点の雲をいかに一般化するかをテストすることで,LiDARシミュレーションの性能を検証した。
論文 参考訳（メタデータ） (2023-11-26T20:44:09Z) - Reinforcement Learning with Human Feedback for Realistic Traffic
Simulation [53.85002640149283]
効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。
本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
論文 参考訳（メタデータ） (2023-09-01T19:29:53Z) - Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial
Application Case on Autonomous Disassembly [55.41644538483948]
我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。
合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。
この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
論文 参考訳（メタデータ） (2023-01-12T14:00:37Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳（メタデータ） (2022-09-22T13:12:54Z) - A Realism Metric for Generated LiDAR Point Clouds [2.6205925938720833]
本稿では,LiDAR点雲のリアリズムを定量化する新しい計量法を提案する。
関連する機能は、プロキシ分類タスクのトレーニングによって、現実世界と合成ポイントクラウドから学習される。
一連の実験において、生成したLiDARデータのリアリズムを決定するためのメトリックの応用を実証し、メトリックのリアリズム推定とセグメンテーションモデルの性能を比較する。
論文 参考訳（メタデータ） (2022-08-31T16:37:57Z) - A Lightweight Machine Learning Pipeline for LiDAR-simulation [8.18203294574182]
より現実的なLiDARシミュレーションのための軽量なアプローチを提案する。
中心となる考え方は、シミュレーションを画像から画像への変換問題にキャストすることである。
この戦略により、センサー固有の、高価で複雑なLiDAR物理シミュレーションを省略することができる。
論文 参考訳（メタデータ） (2022-08-05T12:45:53Z) - VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and
Policy Learning for Autonomous Vehicles [131.2240621036954]
VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。
高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。
センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
論文 参考訳（メタデータ） (2021-11-23T18:58:10Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。