論文の概要: Urban Radiance Field Representation with Deformable Neural Mesh Primitives

• arxiv url: http://arxiv.org/abs/2307.10776v1
• Date: Thu, 20 Jul 2023 11:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 13:28:52.743810
• Title: Urban Radiance Field Representation with Deformable Neural Mesh Primitives
• Title（参考訳）: 変形可能なニューラルネットワークプリミティブを用いた都市放射場表現
• Authors: Fan Lu, Yan Xu, Guang Chen, Hongsheng Li, Kwan-Yee Lin, Changjun Jiang
• Abstract要約: 変形可能なニューラルメッシュプリミティブ(Deformable Neural Mesh Primitive, DNMP)は、古典的メッシュ表現の柔軟でコンパクトなニューラルバリアントである。 我々の表現は高速レンダリング(2.07ms/1kピクセル)と低ピークメモリ(110MB/1kピクセル)を可能にする。 我々は、33$times$でバニラNeRFより高速に動作でき、高度に最適化されたInstant-NGP(0.61対0.71ms/1kピクセル)に匹敵する軽量版を示す。
• 参考スコア（独自算出の注目度）: 41.104140341641006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) have achieved great success in the past few years. However, most current methods still require intensive resources due to ray marching-based rendering. To construct urban-level radiance fields efficiently, we design Deformable Neural Mesh Primitive~(DNMP), and propose to parameterize the entire scene with such primitives. The DNMP is a flexible and compact neural variant of classic mesh representation, which enjoys both the efficiency of rasterization-based rendering and the powerful neural representation capability for photo-realistic image synthesis. Specifically, a DNMP consists of a set of connected deformable mesh vertices with paired vertex features to parameterize the geometry and radiance information of a local area. To constrain the degree of freedom for optimization and lower the storage budgets, we enforce the shape of each primitive to be decoded from a relatively low-dimensional latent space. The rendering colors are decoded from the vertex features (interpolated with rasterization) by a view-dependent MLP. The DNMP provides a new paradigm for urban-level scene representation with appealing properties: $(1)$ High-quality rendering. Our method achieves leading performance for novel view synthesis in urban scenarios. $(2)$ Low computational costs. Our representation enables fast rendering (2.07ms/1k pixels) and low peak memory usage (110MB/1k pixels). We also present a lightweight version that can run 33$\times$ faster than vanilla NeRFs, and comparable to the highly-optimized Instant-NGP (0.61 vs 0.71ms/1k pixels). Project page: \href{https://dnmp.github.io/}{https://dnmp.github.io/}.
• Abstract（参考訳）: Neural Radiance Fields (NeRF) はここ数年で大きな成功を収めている。 しかし、レイマーチングベースのレンダリングのために、現在のほとんどのメソッドは集中的なリソースを必要とする。 都市レベルの放射場を効率的に構築するために,変形可能なニューラルネットワークプリミティブ(dnmp)を設計し,これらのプリミティブを用いてシーン全体をパラメータ化することを提案する。 DNMPは古典メッシュ表現の柔軟でコンパクトなニューラルバリアントであり、ラスタライズベースのレンダリングの効率と、フォトリアリスティック画像合成のための強力なニューラル表現能力の両方を享受している。 具体的には、DNMPは、局所領域の幾何および放射情報をパラメータ化するために、ペアの頂点特徴を持つ連結変形可能なメッシュ頂点からなる。 最適化の自由度を制限し、ストレージ予算を低くするために、各プリミティブの形状を比較的低次元の潜在空間から復号するように強制する。 レンダリング色は、ビュー依存MLPにより頂点特徴(ラスタ化で補間)からデコードされる。 dnmpは、魅力的な特性を持つ都市レベルのシーン表現のための新しいパラダイムを提供する: $(1)$ high-quality rendering。 本手法は,都市シナリオにおける新規ビュー合成の先進的な性能を実現する。 計算コストは$(2)である。 我々の表現は高速レンダリング(2.07ms/1kピクセル)と低ピークメモリ(110MB/1kピクセル)を可能にする。 我々はまた、33$\times$でバニラのNeRFより高速に動作でき、高度に最適化されたInstant-NGP(0.61対0.71ms/1kピクセル)に匹敵する軽量バージョンも提示する。 プロジェクトページ: \href{https://dnmp.github.io/}{https://dnmp.github.io/}

関連論文リスト

• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Efficient Encoding of Graphics Primitives with Simplex-based Structures [0.8158530638728501]
  本稿では,グラフィックプリミティブを符号化するシンプルな手法を提案する。 提案手法は, 2次元画像整合作業において, ベースライン法に比べて9.4%少ない時間で画像の整合を行うことができる。
  論文  参考訳（メタデータ） (2023-11-26T21:53:22Z)
• Dynamic PlenOctree for Adaptive Sampling Refinement in Explicit NeRF [6.135925201075925]
  PlenOctree DOTは,シーンの複雑さの変化に対応するために,サンプル分布を適応的に改良する。 POTと比較して、私たちのDOTは視覚的品質を高め、パラメータを55.15ドル/68.84%以上削減し、NeRF合成とタンクにそれぞれ1.7/1.9 FPSを提供する。
  論文  参考訳（メタデータ） (2023-07-28T06:21:42Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Efficient Neural Radiance Fields with Learned Depth-Guided Sampling [43.79307270743013]
  本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。 実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。 また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。