論文の概要: Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation

• arxiv url: http://arxiv.org/abs/2204.10850v1
• Date: Fri, 22 Apr 2022 17:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 13:43:12.483295
• Title: Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation
• Title（参考訳）: Control-NeRF:シーンレンダリングと操作のための編集可能な機能ボリューム
• Authors: Verica Lazova, Vladimir Guzov, Kyle Olszewski, Sergey Tulyakov, Gerard Pons-Moll
• Abstract要約: 高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
• 参考スコア（独自算出の注目度）: 58.16911861917018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for performing flexible, 3D-aware image content manipulation while enabling high-quality novel view synthesis. While NeRF-based approaches are effective for novel view synthesis, such models memorize the radiance for every point in a scene within a neural network. Since these models are scene-specific and lack a 3D scene representation, classical editing such as shape manipulation, or combining scenes is not possible. Hence, editing and combining NeRF-based scenes has not been demonstrated. With the aim of obtaining interpretable and controllable scene representations, our model couples learnt scene-specific feature volumes with a scene agnostic neural rendering network. With this hybrid representation, we decouple neural rendering from scene-specific geometry and appearance. We can generalize to novel scenes by optimizing only the scene-specific 3D feature representation, while keeping the parameters of the rendering network fixed. The rendering function learnt during the initial training stage can thus be easily applied to new scenes, making our approach more flexible. More importantly, since the feature volumes are independent of the rendering model, we can manipulate and combine scenes by editing their corresponding feature volumes. The edited volume can then be plugged into the rendering model to synthesize high-quality novel views. We demonstrate various scene manipulations, including mixing scenes, deforming objects and inserting objects into scenes, while still producing photo-realistic results.
• Abstract（参考訳）: 高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現する。 NeRFベースのアプローチは、新しいビュー合成に有効であるが、そのようなモデルは、ニューラルネットワーク内のシーンのすべての点の放射率を記憶する。 これらのモデルはシーン固有であり、3Dシーン表現が欠けているため、形状操作や合成といった古典的な編集は不可能である。 そのため、nerfベースのシーンの編集と合成は行われていない。 解釈可能かつ制御可能なシーン表現を得ることを目的として,モデルでは,シーン非依存のニューラルネットワークを用いて,シーン固有の特徴量の学習を行う。 このハイブリッド表現により、シーン固有の幾何学と外観からニューラルレンダリングを分離する。 レンダリングネットワークのパラメータを固定しつつ、シーン固有の3D特徴表現のみを最適化することで、新しいシーンに一般化することができる。 従って、最初のトレーニングステージで学習したレンダリング機能は、新しいシーンに容易に適用でき、アプローチをより柔軟にします。 さらに重要なことは、機能ボリュームはレンダリングモデルとは独立しているため、対応する機能ボリュームを編集してシーンを操作および結合することが可能である。 編集されたボリュームをレンダリングモデルにプラグインすることで、高品質な新規ビューを合成することができる。 シーンのミキシングやオブジェクトの変形,シーンへのオブジェクト挿入など,さまざまなシーン操作を実演すると同時に,フォトリアリスティックな結果も生み出す。

関連論文リスト

• Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
  我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。 本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。 次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-07-07T21:38:50Z)
• DORSal: Diffusion for Object-centric Representations of Scenes et al [28.181157214966493]
  最近の3Dシーン理解の進歩は、多様なシーンの大きなデータセットにわたる表現のスケーラブルな学習を可能にする。 本研究では,凍結したオブジェクト中心のスロットベースのシーン表現を条件とした3次元シーン生成にビデオ拡散アーキテクチャを適用したDORSalを提案する。
  論文  参考訳（メタデータ） (2023-06-13T18:32:35Z)
• Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes [68.14127205949073]
  オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシを使うことで、個々の独立オブジェクトの配置を調整するなど、さまざまな編集オプションが実現可能であることを示す。 その結果,Set-the-Sceneはシーンの合成と操作に強力なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-23T17:17:29Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
  メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。 合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。 実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
  論文  参考訳（メタデータ） (2022-03-20T13:06:15Z)
• Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering [42.37007176376849]
  本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-04T11:37:18Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。