論文の概要: DGNR: Density-Guided Neural Point Rendering of Large Driving Scenes

• arxiv url: http://arxiv.org/abs/2311.16664v1
• Date: Tue, 28 Nov 2023 10:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 18:59:52.407258
• Title: DGNR: Density-Guided Neural Point Rendering of Large Driving Scenes
• Title（参考訳）: DGNR:大型運転シーンの密度誘導型ニューラルポイントレンダリング
• Authors: Zhuopeng Li, Chenming Wu, Liangjun Zhang, Jianke Zhu
• Abstract要約: 本稿では,DGNR(Density-Guided Neural Rendering)と呼ばれるポイントベースの構築を支援するために,シーンから密度空間を学習する新しいフレームワークを提案する。 具体的には、学習された密度空間から得られる神経密度特徴から、微分可能な幾何学的画像を利用する。
• 参考スコア（独自算出の注目度）: 26.08059395622127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent success of Neural Radiance Field (NeRF), it is still challenging to render large-scale driving scenes with long trajectories, particularly when the rendering quality and efficiency are in high demand. Existing methods for such scenes usually involve with spatial warping, geometric supervision from zero-shot normal or depth estimation, or scene division strategies, where the synthesized views are often blurry or fail to meet the requirement of efficient rendering. To address the above challenges, this paper presents a novel framework that learns a density space from the scenes to guide the construction of a point-based renderer, dubbed as DGNR (Density-Guided Neural Rendering). In DGNR, geometric priors are no longer needed, which can be intrinsically learned from the density space through volumetric rendering. Specifically, we make use of a differentiable renderer to synthesize images from the neural density features obtained from the learned density space. A density-based fusion module and geometric regularization are proposed to optimize the density space. By conducting experiments on a widely used autonomous driving dataset, we have validated the effectiveness of DGNR in synthesizing photorealistic driving scenes and achieving real-time capable rendering.
• Abstract（参考訳）: 近年のNeural Radiance Field (NeRF)の成功にもかかわらず、特に高いレンダリング品質と効率が要求される場合、長い軌道で大規模な運転シーンをレンダリングすることは依然として困難である。 このようなシーンの既存の方法は、通常、空間的ワーピング、ゼロショット正規または深さ推定からの幾何学的監督、またはシーン分割戦略に関係しており、合成されたビューはしばしばぼやけているか、効率的なレンダリングの要件を満たしていない。 以上の課題に対処するために,DGNR(Density-Guided Neural Rendering)と呼ばれる点ベースレンダラーの構築を支援するために,シーンから密度空間を学習する新しいフレームワークを提案する。 DGNRでは、幾何学的先行はもはや不要であり、体積レンダリングによって密度空間から本質的に学習することができる。 具体的には、微分可能なレンダラを用いて、学習した密度空間から得られた神経密度特徴から画像を合成する。 密度空間を最適化するために密度ベース融合モジュールと幾何正規化を提案する。 広範に使用される自動運転データセットで実験を行うことで、フォトリアリスティックな運転シーンの合成とリアルタイムなレンダリングにおけるdgnrの有効性を検証する。

関連論文リスト

• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
  我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。 各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
  論文  参考訳（メタデータ） (2024-03-29T07:59:37Z)
• DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing [19.437747560051566]
  カラー画像の勾配に基づく適応的な深度損失を提案し、様々なベースライン上での深度推定と新しいビュー合成結果を改善した。 我々の単純かつ効果的な正則化技術はガウス表現からの直接メッシュ抽出を可能にし、屋内シーンのより物理的に正確な再構築を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:00:31Z)
• Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
  ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。 Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。 我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-02-09T23:20:23Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering [139.159534903657]
  我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2021-12-08T14:42:10Z)
• Volume Rendering of Neural Implicit Surfaces [57.802056954935495]
  本稿では,ニューラルボリュームレンダリングにおける幾何学的表現と再構成を改善することを目的とする。 体積密度を幾何学の関数としてモデル化することで実現する。 この新たな密度表現を挑戦的なシーンマルチビューデータセットに適用することで、高品質な幾何学的再構成を実現した。
  論文  参考訳（メタデータ） (2021-06-22T20:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。