論文の概要: Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems

• arxiv url: http://arxiv.org/abs/2409.05310v1
• Date: Mon, 9 Sep 2024 03:42:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:50:59.655658
• Title: Neural Surface Reconstruction and Rendering for LiDAR-Visual Systems
• Title（参考訳）: LiDAR-ビジュアルシステムのためのニューラルサーフェス再構成とレンダリング
• Authors: Jianheng Liu, Chunran Zheng, Yunfei Wan, Bowen Wang, Yixi Cai, Fu Zhang,
• Abstract要約: 本稿では,LiDAR-visualシステムのための統一的な表面再構成・レンダリングフレームワークを提案する。 本研究では,NRF と NDF の間の構造的ギャップを可視的占有マップを用いて解決する。 空間変化スケールのSDF-to-density変換を用いて,NDFとNeRFのトレーニングを統一する。
• 参考スコア（独自算出の注目度）: 9.325214913221252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a unified surface reconstruction and rendering framework for LiDAR-visual systems, integrating Neural Radiance Fields (NeRF) and Neural Distance Fields (NDF) to recover both appearance and structural information from posed images and point clouds. We address the structural visible gap between NeRF and NDF by utilizing a visible-aware occupancy map to classify space into the free, occupied, visible unknown, and background regions. This classification facilitates the recovery of a complete appearance and structure of the scene. We unify the training of the NDF and NeRF using a spatial-varying scale SDF-to-density transformation for levels of detail for both structure and appearance. The proposed method leverages the learned NDF for structure-aware NeRF training by an adaptive sphere tracing sampling strategy for accurate structure rendering. In return, NeRF further refines structural in recovering missing or fuzzy structures in the NDF. Extensive experiments demonstrate the superior quality and versatility of the proposed method across various scenarios. To benefit the community, the codes will be released at \url{https://github.com/hku-mars/M2Mapping}.
• Abstract（参考訳）: 本稿では,NRF(Neural Radiance Fields)とニューラル距離場(Neural Distance Fields,NDF)を統合したLiDAR視覚システムのための統一された表面再構成・レンダリングフレームワークを提案する。 本研究では, 空間を自由, 占有, 未知, 背景領域に分類するために, 可視的占有マップを用いてNeRFとNDFの構造的ギャップに対処する。 この分類は、シーンの完全な外観と構造の回復を促進する。 空間変化スケールのSDF-to-density変換を用いて,NDFとNeRFのトレーニングを統一する。 提案手法は, 高精度な構造レンダリングのための適応球追跡サンプリング戦略を用いて, 学習したNDFを構造認識型NeRFトレーニングに活用する。 その見返りとして、NRFはNDFの欠落やファジィ構造を回復する構造をさらに洗練する。 拡張実験は,提案手法の様々なシナリオにおける優れた品質と汎用性を示す。 コミュニティの利益を得るために、コードは \url{https://github.com/hku-mars/M2Mapping} でリリースされる。

関連論文リスト

• NeuRodin: A Two-stage Framework for High-Fidelity Neural Surface Reconstruction [63.85586195085141]
  サイン付き距離関数 (SDF) を用いたボリュームレンダリングは, 表面再構成において有意な機能を示した。 ニューロディン(NeuRodin)は、新しい2段階の神経表面再構成フレームワークである。 NeuRodinは高忠実な表面再構成を実現し、密度ベース手法の柔軟な最適化特性を維持している。
  論文  参考訳（メタデータ） (2024-08-19T17:36:35Z)
• NC-SDF: Enhancing Indoor Scene Reconstruction Using Neural SDFs with View-Dependent Normal Compensation [13.465401006826294]
  我々は、ビュー依存正規補償(NC)を用いたニューラルサイン付き距離場(SDF)3次元再構成フレームワークNC-SDFを提案する。 適応的にバイアスを学習し、修正することにより、NC-SDFは、一貫性のない監督の悪影響を効果的に軽減する。 合成および実世界のデータセットの実験により、NC-SDFは復元品質において既存のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-01T06:26:35Z)
• The NeRFect Match: Exploring NeRF Features for Visual Localization [45.42725089658268]
  視覚的位置決めのためのシーン表現としてNeRF(Neural Radiance Fields)を提案する。 局所化のための正確な2D-3Dマッチングを確立する際に、NeRFの内部特徴の可能性を探ることで、認識された利点を拡大する。 ビュー合成により学習したNeRFの内部知識を活かした2D-3Dマッチング機能であるNeRFMatchを導入する。
  論文  参考訳（メタデータ） (2024-03-14T17:11:49Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
  室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-13T06:40:08Z)
• NeuralUDF: Learning Unsigned Distance Fields for Multi-view Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
  本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。 本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T15:21:45Z)
• StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints [23.15914545835831]
  StructNeRFは、スパース入力を持つ屋内シーンのための新しいビュー合成のソリューションである。 本手法は,外部データに付加的なトレーニングを加えることなく,NeRFの幾何とビュー合成性能を向上する。
  論文  参考訳（メタデータ） (2022-09-12T14:33:27Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。