論文の概要: Generative Occupancy Fields for 3D Surface-Aware Image Synthesis

• arxiv url: http://arxiv.org/abs/2111.00969v1
• Date: Mon, 1 Nov 2021 14:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 14:07:24.831034
• Title: Generative Occupancy Fields for 3D Surface-Aware Image Synthesis
• Title（参考訳）: 3次元表面認識画像合成のための生成操作場
• Authors: Xudong Xu, Xingang Pan, Dahua Lin, Bo Dai
• Abstract要約: GOF(Generative Occupancy Fields)は、生成放射場に基づく新しいモデルである。 GOFは高品質な画像を3D整合性で合成し、コンパクトで滑らかな物体表面を同時に学習することができる。
• 参考スコア（独自算出の注目度）: 123.11969582055382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of generative radiance fields has significantly promoted the development of 3D-aware image synthesis. The cumulative rendering process in radiance fields makes training these generative models much easier since gradients are distributed over the entire volume, but leads to diffused object surfaces. In the meantime, compared to radiance fields occupancy representations could inherently ensure deterministic surfaces. However, if we directly apply occupancy representations to generative models, during training they will only receive sparse gradients located on object surfaces and eventually suffer from the convergence problem. In this paper, we propose Generative Occupancy Fields (GOF), a novel model based on generative radiance fields that can learn compact object surfaces without impeding its training convergence. The key insight of GOF is a dedicated transition from the cumulative rendering in radiance fields to rendering with only the surface points as the learned surface gets more and more accurate. In this way, GOF combines the merits of two representations in a unified framework. In practice, the training-time transition of start from radiance fields and march to occupancy representations is achieved in GOF by gradually shrinking the sampling region in its rendering process from the entire volume to a minimal neighboring region around the surface. Through comprehensive experiments on multiple datasets, we demonstrate that GOF can synthesize high-quality images with 3D consistency and simultaneously learn compact and smooth object surfaces. Code, models, and demo videos are available at https://sheldontsui.github.io/projects/GOF
• Abstract（参考訳）: 生成放射場の出現は、3d認識画像合成の発展を著しく促進した。 radianceフィールドでの累積レンダリングプロセスは、勾配がボリューム全体に分散するが、拡散したオブジェクト表面につながるため、これらの生成モデルのトレーニングをずっと簡単にする。 一方、放射場と比較すると、占有表現は本質的に決定論的曲面を保証できる。 しかし、私たちが生成モデルに直接占有表現を適用すると、訓練中は物体表面上のスパース勾配のみを受け取り、最終的に収束問題に悩まされる。 本稿では,コンパクトな物体表面を学習できる生成的放射場に基づく新しいモデルである生成的占有場(gof)を提案する。 GOFの重要な洞察は、放射場における累積レンダリングから、学習面がより正確になるにつれて、表面点のみのレンダリングへの専用の遷移である。 このように、GOFは2つの表現の利点を統一されたフレームワークで組み合わせる。 実際には、そのレンダリング過程におけるサンプリング領域をボリューム全体から表面周辺の最小隣接領域に徐々に縮小することにより、輝度場からマーチから占有率表現への開始のトレーニングタイム遷移を実現する。 複数のデータセットに関する総合的な実験を通して、GOFは高画質画像を3次元整合性で合成し、コンパクトで滑らかな物体表面を同時に学習できることを実証した。 コード、モデル、デモビデオはhttps://sheldontsui.github.io/projects/gofで入手できる。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
  我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。 最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2023-03-16T16:06:03Z)
• Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects [52.46838926521572]
  3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。 本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-09-09T08:44:06Z)
• GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation [25.20217335614512]
  3D対応画像生成モデリングは、カメラポーズを明示的に制御可能な3D一貫性画像を生成することを目的としている。 近年の研究では、非構造2次元画像上でのニューラル放射場(NeRF)ジェネレータのトレーニングによる有望な結果が示されている。
  論文  参考訳（メタデータ） (2021-12-16T13:25:49Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。