Fugu-MT 論文翻訳(概要): LeC$^2$O-NeRF: Learning Continuous and Compact Large-Scale Occupancy for Urban Scenes

論文の概要: LeC$^2$O-NeRF: Learning Continuous and Compact Large-Scale Occupancy for Urban Scenes

arxiv url: http://arxiv.org/abs/2411.11374v1
Date: Mon, 18 Nov 2024 08:37:48 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-19 14:27:20.070143
Title: LeC$^2$O-NeRF: Learning Continuous and Compact Large-Scale Occupancy for Urban Scenes
Title（参考訳）: LeC$^2$O-NeRF: 都市景観における連続的かつ大規模活動の学習
Authors: Zhenxing Mi, Dan Xu,
Abstract要約: NeRFにおいて重要な問題は、空き空間のスキップと点サンプリングを誘導するために、占有率を効果的に見積もることである。本稿では, 3次元点を占有点または占有点に分類できる, 連続的かつコンパクトな大規模占有網を提案する。実験では,我々の占有網は,占有網よりもコンパクトで,正確で,スムーズな占有網を迅速に学習することができる。
参考スコア（独自算出の注目度）: 14.795422511173554
License:
Abstract: In NeRF, a critical problem is to effectively estimate the occupancy to guide empty-space skipping and point sampling. Grid-based methods work well for small-scale scenes. However, on large-scale scenes, they are limited by predefined bounding boxes, grid resolutions, and high memory usage for grid updates, and thus struggle to speed up training for large-scale, irregularly bounded and complex urban scenes without sacrificing accuracy. In this paper, we propose to learn a continuous and compact large-scale occupancy network, which can classify 3D points as occupied or unoccupied points. We train this occupancy network end-to-end together with the radiance field in a self-supervised manner by three designs. First, we propose a novel imbalanced occupancy loss to regularize the occupancy network. It makes the occupancy network effectively control the ratio of unoccupied and occupied points, motivated by the prior that most of 3D scene points are unoccupied. Second, we design an imbalanced architecture containing a large scene network and a small empty space network to separately encode occupied and unoccupied points classified by the occupancy network. This imbalanced structure can effectively model the imbalanced nature of occupied and unoccupied regions. Third, we design an explicit density loss to guide the occupancy network, making the density of unoccupied points smaller. As far as we know, we are the first to learn a continuous and compact occupancy of large-scale NeRF by a network. In our experiments, our occupancy network can quickly learn more compact, accurate and smooth occupancy compared to the occupancy grid. With our learned occupancy as guidance for empty space skipping on challenging large-scale benchmarks, our method consistently obtains higher accuracy compared to the occupancy grid, and our method can speed up state-of-the-art NeRF methods without sacrificing accuracy.
Abstract（参考訳）: NeRFにおいて重要な問題は、空き空間のスキップと点サンプリングを誘導するために、占有率を効果的に見積もることである。グリッドベースの手法は小規模なシーンではうまく機能する。しかし、大規模なシーンでは、事前に定義されたバウンディングボックス、グリッド解像度、グリッド更新のためのメモリ使用量によって制限されるため、大規模な、不規則にバウンドされた複雑な都市シーンのトレーニングを、精度を犠牲にすることなく高速化するのに苦労する。本稿では, 3D 点を占有点または占有点と分類できる, 連続的かつコンパクトな大規模占有ネットワークを提案する。我々は、この占有ネットワークを放射場と共に3つの設計で自己監督的に訓練する。まず, 占有ネットワークを正規化するために, 新規な不均衡占有損失を提案する。これにより、3Dシーンポイントの大半が占有されていないという先行の動機により、占有ネットワークは、占有されていないポイントと占有されているポイントの比率を効果的に制御できる。第2に,大規模なシーンネットワークと小さな空き空間ネットワークを含む不均衡なアーキテクチャを設計し,占有されたポイントと占有されていないポイントを別々に符号化する。この不均衡構造は、占有領域と非占有領域の不均衡の性質を効果的にモデル化することができる。第三に、占有ネットワークを導くために明示的な密度損失を設計し、占有されていない点の密度を小さくする。私たちが知る限り、我々はネットワークによって大規模なNeRFの連続的かつコンパクトな占有を学習した最初の人です。実験では,我々の占有網は,占有網よりもコンパクトで,正確で,スムーズな占有網を迅速に学習することができる。大規模ベンチマークに挑戦する空き空間スキッピングのガイダンスとして,本手法は占有格子よりも高い精度を得るとともに,精度を犠牲にすることなく最先端のNeRF法を高速化することができる。

論文の概要: LeC$^2$O-NeRF: Learning Continuous and Compact Large-Scale Occupancy for Urban Scenes

関連論文リスト