論文の概要: Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering

• arxiv url: http://arxiv.org/abs/2109.01847v1
• Date: Sat, 4 Sep 2021 11:37:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 08:58:30.371100
• Title: Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
• Title（参考訳）: 編集可能なシーンレンダリングのためのオブジェクト合成ニューラルラジアンスフィールドの学習
• Authors: Bangbang Yang, Yinda Zhang, Yinghao Xu, Yijin Li, Han Zhou, Hujun Bao, Guofeng Zhang, Zhaopeng Cui
• Abstract要約: 本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 42.37007176376849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit neural rendering techniques have shown promising results for novel view synthesis. However, existing methods usually encode the entire scene as a whole, which is generally not aware of the object identity and limits the ability to the high-level editing tasks such as moving or adding furniture. In this paper, we present a novel neural scene rendering system, which learns an object-compositional neural radiance field and produces realistic rendering with editing capability for a clustered and real-world scene. Specifically, we design a novel two-pathway architecture, in which the scene branch encodes the scene geometry and appearance, and the object branch encodes each standalone object conditioned on learnable object activation codes. To survive the training in heavily cluttered scenes, we propose a scene-guided training strategy to solve the 3D space ambiguity in the occluded regions and learn sharp boundaries for each object. Extensive experiments demonstrate that our system not only achieves competitive performance for static scene novel-view synthesis, but also produces realistic rendering for object-level editing.
• Abstract（参考訳）: 暗黙のニューラルレンダリング技術は、新しいビュー合成に有望な結果を示している。 しかし、既存の手法は通常、シーン全体をエンコードするので、一般的にオブジェクトのアイデンティティを意識せず、家具の移動や追加といった高度な編集作業に制限される。 本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンの編集機能を備えたリアルなレンダリングを実現するニューラルシーンレンダリングシステムを提案する。 具体的には、シーンブランチがシーンの形状と外観を符号化し、オブジェクトブランチが学習可能なオブジェクトアクティベーションコードに基づいて各スタンドアロンオブジェクトを符号化する新しい双方向アーキテクチャを設計する。 過度に乱雑な場面での訓練を生き残るために,オクルード領域における3次元空間の曖昧さを解消し,各対象の鋭い境界を学習するためのシーン誘導訓練戦略を提案する。 大規模な実験により,本システムは静的シーンのノベルビュー合成における競合性能だけでなく,オブジェクトレベルの編集のためのリアルなレンダリングも実現している。

関連論文リスト

• Neural Implicit Field Editing Considering Object-environment Interaction [5.285267388811263]
  オブジェクトとシーン環境のインタラクション認識システム(OSI-Aware)を提案する。 オブジェクトとシーン環境の相互作用を考慮した新しい2ストリームニューラルレンダリングシステムである。 新規なビュー合成タスクにおけるレンダリング品質の競争性能を実現する。
  論文  参考訳（メタデータ） (2023-11-01T10:35:47Z)
• LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
  運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。 我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。 CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2023-04-06T17:59:25Z)
• Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes [68.14127205949073]
  オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシを使うことで、個々の独立オブジェクトの配置を調整するなど、さまざまな編集オプションが実現可能であることを示す。 その結果,Set-the-Sceneはシーンの合成と操作に強力なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-23T17:17:29Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• Unsupervised Discovery and Composition of Object Light Fields [57.198174741004095]
  オブジェクト中心の合成シーン表現において、オブジェクトを光場として表現することを提案する。 オブジェクト中心の光場から大域的な光場を再構成できる新しい光場合成モジュールを提案する。
  論文  参考訳（メタデータ） (2022-05-08T17:50:35Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。