論文の概要: SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2411.16816v1
• Date: Mon, 25 Nov 2024 16:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:31:27.449437
• Title: SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving
• Title（参考訳）: SplatAD: 自動走行のための3Dガウススプレイティングによるリアルタイムライダーとカメラレンダリング
• Authors: Georg Hess, Carl Lindström, Maryam Fatemi, Christoffer Petersson, Lennart Svensson,
• Abstract要約: カメラとライダーデータのセンサリアリスティックレンダリングのための既存のニューラル放射場(NeRF)法は、低レンダリング速度に悩まされている。 SplatADは,カメラとライダーデータの両方の動的シーンをリアルかつリアルタイムにレンダリングするための,最初の3DGSベースの手法である。
• 参考スコア（独自算出の注目度）: 6.221538885604869
• License:
• Abstract: Ensuring the safety of autonomous robots, such as self-driving vehicles, requires extensive testing across diverse driving scenarios. Simulation is a key ingredient for conducting such testing in a cost-effective and scalable way. Neural rendering methods have gained popularity, as they can build simulation environments from collected logs in a data-driven manner. However, existing neural radiance field (NeRF) methods for sensor-realistic rendering of camera and lidar data suffer from low rendering speeds, limiting their applicability for large-scale testing. While 3D Gaussian Splatting (3DGS) enables real-time rendering, current methods are limited to camera data and are unable to render lidar data essential for autonomous driving. To address these limitations, we propose SplatAD, the first 3DGS-based method for realistic, real-time rendering of dynamic scenes for both camera and lidar data. SplatAD accurately models key sensor-specific phenomena such as rolling shutter effects, lidar intensity, and lidar ray dropouts, using purpose-built algorithms to optimize rendering efficiency. Evaluation across three autonomous driving datasets demonstrates that SplatAD achieves state-of-the-art rendering quality with up to +2 PSNR for NVS and +3 PSNR for reconstruction while increasing rendering speed over NeRF-based methods by an order of magnitude. See https://research.zenseact.com/publications/splatad/ for our project page.
• Abstract（参考訳）: 自動運転車のような自律ロボットの安全性を確保するには、さまざまな運転シナリオにわたる広範なテストが必要である。 シミュレーションは、コスト効率が高くスケーラブルな方法でテストを実行するための重要な要素です。 データ駆動型で収集したログからシミュレーション環境を構築することができるため、ニューラルネットワークのレンダリング手法が人気を集めている。 しかし、カメラとライダーデータのセンサリアリスティックレンダリングのための既存のニューラルレイディアンスフィールド(NeRF)法は、レンダリング速度が低く、大規模なテストへの適用性が制限されている。 3D Gaussian Splatting(3DGS)はリアルタイムレンダリングを可能にするが、現在の手法はカメラデータに限定されており、自動運転に不可欠なライダーデータをレンダリングできない。 これらの制約に対処するため、カメラとライダーデータの両方の動的シーンをリアルタイムにリアルタイムにレンダリングする3DGSベースの最初の手法であるSplatADを提案する。 SplatADは、ローリングシャッター効果、ライダーインテンシティ、ライダーレイドロップアウトなどの重要なセンサー固有の現象を、目的のアルゴリズムを用いて正確にモデル化し、レンダリング効率を最適化する。 3つの自律運転データセットによる評価により、SplatADは、NVSで+2 PSNR、再建で+3 PSNRまでの最先端のレンダリング品質を達成し、NeRFベースの手法でレンダリング速度を桁違いに向上することを示した。 プロジェクトのページはhttps://research.zenseact.com/publications/splatad/を参照してください。

関連論文リスト

• Digital twins to alleviate the need for real field data in vision-based vehicle speed detection systems [0.9899633398596672]
  正確な視覚に基づく速度推定は、レーダーやLiDARに基づく従来の手法よりもコスト効率が高い。 ディープラーニングのアプローチは、利用可能なデータがないため、このコンテキストでは極めて限定的です。 本研究では,CARLAシミュレータを用いたデジタルツインを用いて,特定の実世界のカメラの大規模なデータセットを生成することを提案する。
  論文  参考訳（メタデータ） (2024-07-11T10:41:20Z)
• $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
  光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。 既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。 動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:57:08Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• Deblurring 3D Gaussian Splatting [7.315329140016319]
  MLP(Multi-Layer Perceptron)を用いた3次元ガウス平滑化のための新しいリアルタイムデブロアリングフレームワークを提案する。 Deblurring 3D Gaussian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細かで鋭いディテールを再構築することができる。
  論文  参考訳（メタデータ） (2024-01-01T18:23:51Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
  本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。 再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。 シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-16T17:16:32Z)
• SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving [27.948417322786575]
  本稿では,現実的なシナリオセンサデータを生成するための,シンプルで効果的な手法を提案する。 われわれのアプローチでは、テクスチャマップされたサーフを使用して、初期車両のパスやセットのパスからシーンを効率的に再構築する。 次に、SurfelGANネットワークを利用して、現実的なカメライメージを再構築し、自動運転車の新たな位置と方向を推定する。
  論文  参考訳（メタデータ） (2020-05-08T04:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。