論文の概要: Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation

• arxiv url: http://arxiv.org/abs/2503.09464v1
• Date: Wed, 12 Mar 2025 15:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:38:41.721188
• Title: Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation
• Title（参考訳）: マルチモーダル自律運転のためのハイブリッドレンダリング:ニューラルネットワークと物理シミュレーションの融合
• Authors: Máté Tóth, Péter Kovács, Zoltán Bendefy, Zoltán Hortsin, Balázs Teréki, Tamás Matuszka,
• Abstract要約: ニューラル再構成の強みと物理ベースのレンダリングを組み合わせたハイブリッドアプローチを導入する。 提案手法は,特に道路面やレーンマーキングにおいて,新規なビュー合成品質を著しく向上させる。 ノイズの多いLiDAR点雲からの奥行き正則化により、元の画像上でカスタマイズされたNeRFモデルをトレーニングすることで、これを実現する。
• 参考スコア（独自算出の注目度）: 1.0027737736304287
• License:
• Abstract: Neural reconstruction models for autonomous driving simulation have made significant strides in recent years, with dynamic models becoming increasingly prevalent. However, these models are typically limited to handling in-domain objects closely following their original trajectories. We introduce a hybrid approach that combines the strengths of neural reconstruction with physics-based rendering. This method enables the virtual placement of traditional mesh-based dynamic agents at arbitrary locations, adjustments to environmental conditions, and rendering from novel camera viewpoints. Our approach significantly enhances novel view synthesis quality -- especially for road surfaces and lane markings -- while maintaining interactive frame rates through our novel training method, NeRF2GS. This technique leverages the superior generalization capabilities of NeRF-based methods and the real-time rendering speed of 3D Gaussian Splatting (3DGS). We achieve this by training a customized NeRF model on the original images with depth regularization derived from a noisy LiDAR point cloud, then using it as a teacher model for 3DGS training. This process ensures accurate depth, surface normals, and camera appearance modeling as supervision. With our block-based training parallelization, the method can handle large-scale reconstructions (greater than or equal to 100,000 square meters) and predict segmentation masks, surface normals, and depth maps. During simulation, it supports a rasterization-based rendering backend with depth-based composition and multiple camera models for real-time camera simulation, as well as a ray-traced backend for precise LiDAR simulation.
• Abstract（参考訳）: 自律運転シミュレーションのためのニューラルリコンストラクションモデルは近年大きく進歩し、動的モデルもますます普及している。 しかしながら、これらのモデルは通常、ドメイン内のオブジェクトを元のトラジェクトリに忠実に処理することに限定される。 ニューラル再構成の強みと物理ベースのレンダリングを組み合わせたハイブリッドアプローチを導入する。 この方法では、任意の場所にメッシュベースの動的エージェントを仮想配置し、環境条件を調整し、新しいカメラ視点からレンダリングすることができる。 提案手法は,新しい学習手法であるNeRF2GSを用いて,インタラクティブなフレームレートを維持しつつ,特に道路面やレーンマーキングにおいて,新規なビュー合成品質を著しく向上させる。 この技術は、NeRF方式の優れた一般化能力と3Dガウススティング(3DGS)のリアルタイムレンダリング速度を利用する。 ノイズの多いLiDAR点雲からの奥行き正則化を原画像上でカスタマイズしたNeRFモデルをトレーニングし,それを3DGSトレーニングの教師モデルとして利用する。 このプロセスにより、正確な深度、表面の正常度、および監視対象としてのカメラの外観モデリングが保証される。 ブロックベースの訓練並列化により、大規模な再構成(最大10万平方メートル以上)を処理し、セグメンテーションマスク、表面正規、深度マップを予測できる。 シミュレーションの間、ラスタライズベースのレンダリングバックエンドをサポートし、深度ベースの合成とリアルタイムカメラシミュレーションのための複数のカメラモデル、正確なLiDARシミュレーションのためのレイトレーシングバックエンドをサポートする。

関連論文リスト

• OG-Gaussian: Occupancy Based Street Gaussians for Autonomous Driving [12.47557991785691]
  我々は,LiDAR点雲をサラウンドビューカメラ画像から生成されたOG(Occupancy Grids)に置き換える新しいアプローチであるOG-Gaussianを提案する。 提案手法は,OGのセマンティック情報を利用して静的道路背景から動的車両を分離し,これらのグリッドを2つの初期点雲に変換し,静的物体と動的物体の両方を再構成する。 Openデータセットの実験では、OG-Gaussianは復元品質とレンダリング速度の点で現在の最先端と同等であり、平均PSNRは35.13、レンダリング速度は143 FPSであることが示された。
  論文  参考訳（メタデータ） (2025-02-20T04:00:47Z)
• EnvGS: Modeling View-Dependent Appearance with Environment Gaussian [78.74634059559891]
  EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。 複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:59:57Z)
• GausSurf: Geometry-Guided 3D Gaussian Splatting for Surface Reconstruction [79.42244344704154]
  GausSurfは、テクスチャリッチな領域におけるマルチビュー一貫性と、シーンのテクスチャレスな領域における通常の事前の幾何学的ガイダンスを採用している。 本手法は,再現性や計算時間の観点から,最先端の手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-11-29T03:54:54Z)
• TFS-NeRF: Template-Free NeRF for Semantic 3D Reconstruction of Dynamic Scene [25.164085646259856]
  本稿では,スパースやシングルビューRGBビデオから撮影したダイナミックシーンのためのテンプレートレス3DセマンティックNeRFを提案する。 相互作用する物体の動きを遠ざけ, 濃度ごとのスキン厚みを最適化することにより, 高精度でセマンティックに分離可能なジオメトリを効率的に生成する。
  論文  参考訳（メタデータ） (2024-09-26T01:34:42Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation [21.501865765631123]
  S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。 S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。 システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
  論文  参考訳（メタデータ） (2024-02-03T10:35:42Z)
• Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models [4.529832252085145]
  トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。 シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。 これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
  論文  参考訳（メタデータ） (2023-11-21T18:59:58Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。