論文の概要: NeRFEditor: Differentiable Style Decomposition for Full 3D Scene Editing

• arxiv url: http://arxiv.org/abs/2212.03848v1
• Date: Wed, 7 Dec 2022 18:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 17:17:56.504142
• Title: NeRFEditor: Differentiable Style Decomposition for Full 3D Scene Editing
• Title（参考訳）: NeRFEditor: フル3Dシーン編集のための微分可能なスタイル分解
• Authors: Chunyi Sun, Yanbing Liu, Junlin Han, Stephen Gould
• Abstract要約: 我々は,3次元シーン編集のための効率的な学習フレームワークであるNeRFEditorを提案する。 NeRFEditorは360deg以上の映像を入力として撮影し、高品質でアイデンティティを保存可能なスタイリングされた3Dシーンを出力する。
• 参考スコア（独自算出の注目度）: 36.42002409973618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present NeRFEditor, an efficient learning framework for 3D scene editing, which takes a video captured over 360{\deg} as input and outputs a high-quality, identity-preserving stylized 3D scene. Our method supports diverse types of editing such as guided by reference images, text prompts, and user interactions. We achieve this by encouraging a pre-trained StyleGAN model and a NeRF model to learn from each other mutually. Specifically, we use a NeRF model to generate numerous image-angle pairs to train an adjustor, which can adjust the StyleGAN latent code to generate high-fidelity stylized images for any given angle. To extrapolate editing to GAN out-of-domain views, we devise another module that is trained in a self-supervised learning manner. This module maps novel-view images to the hidden space of StyleGAN that allows StyleGAN to generate stylized images on novel views. These two modules together produce guided images in 360{\deg}views to finetune a NeRF to make stylization effects, where a stable fine-tuning strategy is proposed to achieve this. Experiments show that NeRFEditor outperforms prior work on benchmark and real-world scenes with better editability, fidelity, and identity preservation.
• Abstract（参考訳）: 我々は,360{\deg} で撮影された映像を入力とし,高品質でアイデンティティを保った3Dシーンを出力する3Dシーン編集のための効率的な学習フレームワークであるNeRFEditorを提案する。 本手法は,参照画像やテキストプロンプト,ユーザインタラクションなど,さまざまな種類の編集を支援する。 我々は,事前学習されたスタイルガンモデルと nerf モデルに相互学習を促すことにより,これを実現する。 具体的には、NeRFモデルを用いて多数の画像アングルペアを生成して調整器を訓練し、StyleGAN潜伏符号を調整して任意の角度で高忠実なスタイリング画像を生成する。 GANアウトオブドメインビューに編集を外挿するために、自己教師付き学習方法でトレーニングされた別のモジュールを考案する。 このモジュールは、新しいビューの画像をStyleGANの隠された空間にマッピングし、StyleGANが新しいビューでスタイリングされたイメージを生成する。 この2つのモジュールは360{\deg}ビューでガイド画像を生成し、nerfを微調整してスタイライゼーション効果を生じさせ、そこでは安定した微調整戦略が提案されている。 実験の結果、NeRFEditorは、より優れた編集性、忠実性、アイデンティティ保存を備えた、ベンチマークや実世界のシーンの先行作業よりも優れていた。

関連論文リスト

• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing [3.58736715327935]
  本稿では,w-latentとF-latentの両方で編集できる新しい方法であるStyleFeatureEditorを紹介する。 また、Fレイテンシーを正確に編集するためのモデルをトレーニングするために特別に設計された新しいトレーニングパイプラインも提示する。 提案手法は最先端の符号化手法と比較し, モデルが復元品質の点で優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-15T11:28:32Z)
• ICE-G: Image Conditional Editing of 3D Gaussian Splats [45.112689255145625]
  単一の参照ビューから3Dモデルを素早く編集するための新しいアプローチを提案する。 我々の技術はまず編集画像を分割し、選択したセグメント化されたデータセットビュー間で意味的に対応する領域をマッチングする。 編集画像の特定の領域からの色やテクスチャの変化を、意味的に理解できる方法で、他のビューに自動的に適用することができる。
  論文  参考訳（メタデータ） (2024-06-12T17:59:52Z)
• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• GenN2N: Generative NeRF2NeRF Translation [53.20986183316661]
  GenN2Nは、様々なNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークである。 2Dドメインの編集と2D編集を3D NeRF空間に持ち上げるために、プラグイン・アンド・プレイのイメージ・ツー・イメージ・トランスレータを使用している。
  論文  参考訳（メタデータ） (2024-04-03T14:56:06Z)
• ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields [45.020585071312475]
  ViCA-NeRFはテキストによる3D編集のための最初のビュー一貫性対応方式である。 我々は、異なるビューにまたがって編集情報を明示的に伝達する正規化の2つの源を利用する。
  論文  参考訳（メタデータ） (2024-02-01T18:59:09Z)
• Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
  DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。 本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。 本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
  論文  参考訳（メタデータ） (2023-09-10T02:31:50Z)
• Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
  Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
  論文  参考訳（メタデータ） (2023-07-27T18:08:19Z)
• StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning [50.65015652968839]
  3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。 最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。 本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。