論文の概要: Self-Supervised Multimodal NeRF for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2506.19615v2
• Date: Wed, 25 Jun 2025 12:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 12:28:29.380191
• Title: Self-Supervised Multimodal NeRF for Autonomous Driving
• Title（参考訳）: 自律運転のための自己監督型マルチモーダルNeRF
• Authors: Gaurav Sharma, Ravi Kothari, Josef Schmid,
• Abstract要約: ニューロビュー合成フレームワーク(NVSF)と呼ばれるNeRF(Neural Radiance Fields)ベースのフレームワークを提案する。 空間の暗黙的な神経表現と、LiDARとカメラの両方の時間変化シーンを共同で学習する。 我々は、静的シーンと動的シーンの両方を含む現実の自律走行シナリオでこれをテストする。
• 参考スコア（独自算出の注目度）: 4.3596673217278195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a Neural Radiance Fields (NeRF) based framework, referred to as Novel View Synthesis Framework (NVSF). It jointly learns the implicit neural representation of space and time-varying scene for both LiDAR and Camera. We test this on a real-world autonomous driving scenario containing both static and dynamic scenes. Compared to existing multimodal dynamic NeRFs, our framework is self-supervised, thus eliminating the need for 3D labels. For efficient training and faster convergence, we introduce heuristic-based image pixel sampling to focus on pixels with rich information. To preserve the local features of LiDAR points, a Double Gradient based mask is employed. Extensive experiments on the KITTI-360 dataset show that, compared to the baseline models, our framework has reported best performance on both LiDAR and Camera domain. Code of the model is available at https://github.com/gaurav00700/Selfsupervised-NVSF
• Abstract（参考訳）: 本稿では,ニューロビュー合成フレームワーク(NVSF)と呼ばれるNeRF(Neural Radiance Fields)ベースのフレームワークを提案する。 空間の暗黙的な神経表現と、LiDARとカメラの両方の時間変化シーンを共同で学習する。 我々は、静的シーンと動的シーンの両方を含む現実の自律走行シナリオでこれをテストする。 既存のマルチモーダルダイナミックNeRFと比較して、我々のフレームワークは自己管理されており、3Dラベルは不要である。 効率よくトレーニングし,より高速な収束を実現するために,ヒューリスティックな画像画素サンプリングを導入し,リッチな情報を持つ画素に焦点をあてる。 LiDAR点の局所的な特徴を保存するために、ダブルグラディエントベースのマスクが採用されている。 KITTI-360データセットの大規模な実験により、ベースラインモデルと比較して、我々のフレームワークはLiDARとカメラドメインの両方で最高のパフォーマンスを報告している。 モデルのコードはhttps://github.com/gaurav00700/Selfsupervised-NVSFで公開されている。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Temporal LiDAR Frame Prediction for Autonomous Driving [1.3706331473063877]
  将来のLiDARフレームを予測するための新しいニューラルネットワークアーキテクチャのクラスを提案する。 この応用の根底にある真実は、単にシーケンスの次のフレームであるので、自制的な方法でモデルを訓練することができる。
  論文  参考訳（メタデータ） (2020-12-17T06:19:59Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。