論文の概要: RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models
- arxiv url: http://arxiv.org/abs/2306.05668v2
- Date: Fri, 8 Dec 2023 02:05:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 18:52:58.951765
- Title: RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models
- Title(参考訳): RePaint-NeRF:セマンティックマスクと拡散モデルによるNeRF編集
- Authors: Xingchen Zhou, Ying He, F. Richard Yu, Jianqiang Li, You Li
- Abstract要約: 本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。
具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。
実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
- 参考スコア(独自算出の注目度): 36.236190350126826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of Neural Radiance Fields (NeRF) has promoted the development
of synthesized high-fidelity views of the intricate real world. However, it is
still a very demanding task to repaint the content in NeRF. In this paper, we
propose a novel framework that can take RGB images as input and alter the 3D
content in neural scenes. Our work leverages existing diffusion models to guide
changes in the designated 3D content. Specifically, we semantically select the
target object and a pre-trained diffusion model will guide the NeRF model to
generate new 3D objects, which can improve the editability, diversity, and
application range of NeRF. Experiment results show that our algorithm is
effective for editing 3D objects in NeRF under different text prompts,
including editing appearance, shape, and more. We validate our method on both
real-world datasets and synthetic-world datasets for these editing tasks.
Please visit https://starstesla.github.io/repaintnerf for a better view of our
results.
- Abstract(参考訳): ニューラルレージアンス場(NeRF)の出現は、複雑な現実世界の合成された高忠実度ビューの開発を促進する。
しかし、NeRFのコンテンツの再描画は依然として非常に要求の多い作業である。
本稿では,RGB画像を入力とし,ニューラルシーンにおける3Dコンテンツを変更可能な新しいフレームワークを提案する。
我々の研究は既存の拡散モデルを利用して、指定された3Dコンテンツの変化を導く。
具体的には,ターゲットオブジェクトをセマンティクス的に選択し,事前学習した拡散モデルがnrfモデルに新たな3dオブジェクトの生成を誘導し,nrfの編集性,多様性,アプリケーション範囲を向上させる。
実験結果から,NeRFにおける3次元オブジェクトの編集には外見や形状など,異なるテキストプロンプトで効果的であることが示唆された。
これらの編集タスクにおいて,実世界データセットと合成世界データセットの両方でこの手法を検証する。
より詳しくは、https://starstesla.github.io/repaintnerfをご覧ください。
関連論文リスト
- SIGNeRF: Scene Integrated Generation for Neural Radiance Fields [1.2405232086713387]
高速かつ制御可能なNeRFシーン編集とシーン統合オブジェクト生成のための新しいアプローチを提案する。
新しい生成的更新戦略により、反復的な最適化を必要とせずに、編集された画像全体の3D一貫性が保証される。
画像拡散モデルの奥行き条件付け機構を利用して,編集の空間的位置を細かく制御する。
論文 参考訳(メタデータ) (2024-01-03T09:46:43Z) - Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with
Generative Diffusion Models [59.96172701917538]
現在のニューラル・ラジアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューを生成することができる。
本稿ではInpaint4DNeRFを提案する。
論文 参考訳(メタデータ) (2023-12-30T11:26:55Z) - Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields [16.375242125946965]
我々は,2つのNeRFネットワーク – 事前学習されたNeRFと編集可能なNeRF – で構成される,新しいNeRFベースモデルであるBlending-NeRFを提案する。
我々はBlending-NeRFがテキストで局所化されたターゲット領域を適切に編集できる新しいブレンディング操作を導入した。
実験の結果,Blending-NeRFはテキストプロンプトから自然および局所的に3Dオブジェクトを生成することがわかった。
論文 参考訳(メタデータ) (2023-08-23T07:46:44Z) - Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。
様々な編集タイプを展示するために、NeRF編集システムを構築している。
論文 参考訳(メタデータ) (2023-07-27T18:08:19Z) - FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and
Relighting with Diffusion Models [67.17713009917095]
単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。
慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
論文 参考訳(メタデータ) (2023-06-01T15:14:39Z) - InpaintNeRF360: Text-Guided 3D Inpainting on Unbounded Neural Radiance
Fields [12.550958219944594]
InpaintNeRF360は、自然言語の指示を3Dシーンのインペイントのためのガイダンスとして利用する統合フレームワークである。
InpaintNeRF360は、複数のオブジェクトを同時に削除したり、テキスト命令に基づいてオブジェクトの外観を変更することができる。
提案手法の有効性を実証し,暗示放射場の編集可能性を高める可能性を示す。
論文 参考訳(メタデータ) (2023-05-24T12:22:23Z) - SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。
我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。
本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-19T18:40:44Z) - Removing Objects From Neural Radiance Fields [60.067117643543824]
RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。
当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。
提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
論文 参考訳(メタデータ) (2022-12-22T18:51:06Z) - NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance
Fields [62.89785701659139]
我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。
NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
論文 参考訳(メタデータ) (2022-09-24T18:34:22Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。