論文の概要: Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2308.02840v1
• Date: Sat, 5 Aug 2023 10:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 18:17:10.752207
• Title: Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis
• Title（参考訳）: 編集可能な新規ビュー合成のための統一分解・合成型NeRFの学習
• Authors: Yuxin Wang, Wayne Wu, Dan Xu
• Abstract要約: 暗黙の神経表現は、現実世界の3Dシーンをモデル化する上で強力な能力を示し、新しいビュー合成において優れた性能を提供している。 本研究では,共同シーンの分解と合成を効果的に行うため,NeRF(Neural Radiance Field)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.98068169673019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representations have shown powerful capacity in modeling real-world 3D scenes, offering superior performance in novel view synthesis. In this paper, we target a more challenging scenario, i.e., joint scene novel view synthesis and editing based on implicit neural scene representations. State-of-the-art methods in this direction typically consider building separate networks for these two tasks (i.e., view synthesis and editing). Thus, the modeling of interactions and correlations between these two tasks is very limited, which, however, is critical for learning high-quality scene representations. To tackle this problem, in this paper, we propose a unified Neural Radiance Field (NeRF) framework to effectively perform joint scene decomposition and composition for modeling real-world scenes. The decomposition aims at learning disentangled 3D representations of different objects and the background, allowing for scene editing, while scene composition models an entire scene representation for novel view synthesis. Specifically, with a two-stage NeRF framework, we learn a coarse stage for predicting a global radiance field as guidance for point sampling, and in the second fine-grained stage, we perform scene decomposition by a novel one-hot object radiance field regularization module and a pseudo supervision via inpainting to handle ambiguous background regions occluded by objects. The decomposed object-level radiance fields are further composed by using activations from the decomposition module. Extensive quantitative and qualitative results show the effectiveness of our method for scene decomposition and composition, outperforming state-of-the-art methods for both novel-view synthesis and editing tasks.
• Abstract（参考訳）: 暗黙の神経表現は、現実世界の3Dシーンをモデル化する上で強力な能力を示し、新しいビュー合成において優れた性能を提供している。 本稿では,暗黙的なニューラルシーン表現に基づく共同シーンノベルビューの合成と編集という,より困難なシナリオをターゲットにする。 この方向の最先端の手法は、一般的にこれらの2つのタスク(例えば、ビュー合成と編集)のために別々のネットワークを構築することを考える。 したがって、これらの2つのタスク間の相互作用と相関のモデリングは非常に限定的であり、高品質なシーン表現の学習には不可欠である。 そこで本研究では,実際のシーンをモデル化するための共同シーン分解と構成を効果的に行うため,NeRF(Neural Radiance Field)フレームワークを提案する。 この分解は、異なるオブジェクトと背景の歪んだ3D表現を学習し、シーン編集を可能にし、シーン構成は、新しいビュー合成のためのシーン全体の表現をモデル化する。 具体的には,2段階のNeRFフレームワークを用いて,点サンプリングのガイダンスとして大域ラディアンス場を予測する粗いステージを学習し,第2段階では,新しい1ホットオブジェクトラディアンスフィールド正規化モジュールと擬似監督によりシーン分解を行い,不明瞭な背景領域を処理する。 分解モジュールからの活性化を利用して、分解対象レベルの放射場をさらに構成する。 広範に定量的および定性的な結果から,本手法がシーン分解および構成において有効であることを示す。

関連論文リスト

• Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs [57.492124844326206]
  この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。 我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。
  論文  参考訳（メタデータ） (2023-12-12T13:22:44Z)
• LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
  運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。 我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。 CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2023-04-06T17:59:25Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering [42.37007176376849]
  本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-04T11:37:18Z)
• GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields [45.21191307444531]
  深部生成モデルは、高解像度で光リアルな画像合成を可能にする。 しかし、多くのアプリケーションにとって、これは十分ではない。コンテンツ生成も制御可能である必要がある。 我々のキーとなる仮説は、構成的な3Dシーン表現を生成モデルに組み込むことにより、より制御可能な画像合成につながるというものである。
  論文  参考訳（メタデータ） (2020-11-24T14:14:15Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。