論文の概要: S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation

• arxiv url: http://arxiv.org/abs/2402.02112v1
• Date: Sat, 3 Feb 2024 10:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:18:22.694335
• Title: S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation
• Title（参考訳）: S-NeRF++:ニューラルネットワークによる自律走行シミュレーションと生成
• Authors: Yurui Chen, Junge Zhang, Ziyang Xie, Wenye Li, Feihu Zhang, Jiachen Lu, Li Zhang
• Abstract要約: S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。 S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。 システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
• 参考スコア（独自算出の注目度）: 22.58009231967202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving simulation system plays a crucial role in enhancing self-driving data and simulating complex and rare traffic scenarios, ensuring navigation safety. However, traditional simulation systems, which often heavily rely on manual modeling and 2D image editing, struggled with scaling to extensive scenes and generating realistic simulation data. In this study, we present S-NeRF++, an innovative autonomous driving simulation system based on neural reconstruction. Trained on widely-used self-driving datasets such as nuScenes and Waymo, S-NeRF++ can generate a large number of realistic street scenes and foreground objects with high rendering quality as well as offering considerable flexibility in manipulation and simulation. Specifically, S-NeRF++ is an enhanced neural radiance field for synthesizing large-scale scenes and moving vehicles, with improved scene parameterization and camera pose learning. The system effectively utilizes noisy and sparse LiDAR data to refine training and address depth outliers, ensuring high quality reconstruction and novel-view rendering. It also provides a diverse foreground asset bank through reconstructing and generating different foreground vehicles to support comprehensive scenario creation. Moreover, we have developed an advanced foreground-background fusion pipeline that skillfully integrates illumination and shadow effects, further enhancing the realism of our simulations. With the high-quality simulated data provided by our S-NeRF++, we found the perception methods enjoy performance boost on several autonomous driving downstream tasks, which further demonstrate the effectiveness of our proposed simulator.
• Abstract（参考訳）: 自動運転シミュレーションシステムは、自動運転データを強化し、複雑で希少な交通シナリオをシミュレートし、ナビゲーションの安全性を確保する上で重要な役割を担っている。 しかし、手動モデリングや2次元画像編集に大きく依存する従来のシミュレーションシステムは、広いシーンへのスケーリングと現実的なシミュレーションデータの生成に苦労した。 本研究では,ニューラル再構成に基づく革新的な自律運転シミュレーションシステムであるS-NeRF++を提案する。 nuScenesやWaymoといった、広く使用されている自動運転データセットに基づいて、S-NeRF++は、多くの現実的なストリートシーンと、高いレンダリング品質のフォアグラウンドオブジェクトを生成し、操作とシミュレーションにかなりの柔軟性を提供する。 具体的には、S-NeRF++は大規模シーンと移動車両を合成するための強化された神経放射場であり、シーンパラメータ化とカメラポーズ学習を改善している。 このシステムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きのアウトリーチに対処し、高品質な再構築とノベルビューレンダリングを保証する。 また、包括的シナリオ作成を支援するために、さまざまな前景車両の再構築と生産を通じて、多様な前景資産銀行も提供する。 さらに,照明効果とシャドー効果を巧みに統合し,シミュレーションのリアリズムをさらに高める高度なフォアグラウンド・バックグラウンド融合パイプラインを開発した。 S-NeRF++が提供した高品質なシミュレーションデータにより、認識手法は複数の自律走行下流タスクのパフォーマンス向上を享受し、提案したシミュレータの有効性をさらに実証する。

関連論文リスト

• GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model [6.144680854063938]
  GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
  論文  参考訳（メタデータ） (2024-08-28T15:37:44Z)
• SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
  シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。 SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。 テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
  論文  参考訳（メタデータ） (2024-06-13T17:58:32Z)
• PLT-D3: A High-fidelity Dynamic Driving Simulation Dataset for Stereo Depth and Scene Flow [0.0]
  本稿では,エンジン5を用いて生成した高忠実度ステレオ深度およびシーンフローグラウンド真理データであるダイナミックウェザードライビングデータセットを紹介する。 特に、このデータセットには、様々な動的気象シナリオを再現する、同期された高解像度ステレオ画像シーケンスが含まれている。 Unreal-D3を用いたいくつかの重要な自動運転タスクのためのベンチマークが確立され、最先端モデルの性能を計測し、向上している。
  論文  参考訳（メタデータ） (2024-06-11T19:21:46Z)
• CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation [44.83732884335725]
  センサシミュレーションでは、車などの交通参加者を高品質な外観と明瞭な幾何学でモデル化する。 現在の再構築アプローチは、その広さとノイズのために、Wildのセンサーデータに苦労している。 本稿では,車体形状を自動再構成するために,CADモデルの小さなセットと微分レンダリングを併用したCADSimを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:56:59Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Reinforcement Learning with Human Feedback for Realistic Traffic Simulation [53.85002640149283]
  効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。 本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
  論文  参考訳（メタデータ） (2023-09-01T19:29:53Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。