論文の概要: RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models

• arxiv url: http://arxiv.org/abs/2306.05668v2
• Date: Fri, 8 Dec 2023 02:05:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 18:52:58.951765
• Title: RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models
• Title（参考訳）: RePaint-NeRF:セマンティックマスクと拡散モデルによるNeRF編集
• Authors: Xingchen Zhou, Ying He, F. Richard Yu, Jianqiang Li, You Li
• Abstract要約: 本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
• 参考スコア（独自算出の注目度）: 36.236190350126826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of Neural Radiance Fields (NeRF) has promoted the development of synthesized high-fidelity views of the intricate real world. However, it is still a very demanding task to repaint the content in NeRF. In this paper, we propose a novel framework that can take RGB images as input and alter the 3D content in neural scenes. Our work leverages existing diffusion models to guide changes in the designated 3D content. Specifically, we semantically select the target object and a pre-trained diffusion model will guide the NeRF model to generate new 3D objects, which can improve the editability, diversity, and application range of NeRF. Experiment results show that our algorithm is effective for editing 3D objects in NeRF under different text prompts, including editing appearance, shape, and more. We validate our method on both real-world datasets and synthetic-world datasets for these editing tasks. Please visit https://starstesla.github.io/repaintnerf for a better view of our results.
• Abstract（参考訳）: ニューラルレージアンス場(NeRF)の出現は、複雑な現実世界の合成された高忠実度ビューの開発を促進する。 しかし、NeRFのコンテンツの再描画は依然として非常に要求の多い作業である。 本稿では,RGB画像を入力とし,ニューラルシーンにおける3Dコンテンツを変更可能な新しいフレームワークを提案する。 我々の研究は既存の拡散モデルを利用して、指定された3Dコンテンツの変化を導く。 具体的には,ターゲットオブジェクトをセマンティクス的に選択し,事前学習した拡散モデルがnrfモデルに新たな3dオブジェクトの生成を誘導し,nrfの編集性,多様性,アプリケーション範囲を向上させる。 実験結果から,NeRFにおける3次元オブジェクトの編集には外見や形状など,異なるテキストプロンプトで効果的であることが示唆された。 これらの編集タスクにおいて,実世界データセットと合成世界データセットの両方でこの手法を検証する。 より詳しくは、https://starstesla.github.io/repaintnerfをご覧ください。

関連論文リスト

• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• GenN2N: Generative NeRF2NeRF Translation [53.20986183316661]
  GenN2Nは、様々なNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークである。 2Dドメインの編集と2D編集を3D NeRF空間に持ち上げるために、プラグイン・アンド・プレイのイメージ・ツー・イメージ・トランスレータを使用している。
  論文  参考訳（メタデータ） (2024-04-03T14:56:06Z)
• SIGNeRF: Scene Integrated Generation for Neural Radiance Fields [1.1037667460077816]
  高速かつ制御可能なNeRFシーン編集とシーン統合オブジェクト生成のための新しいアプローチを提案する。 新しい生成的更新戦略により、反復的な最適化を必要とせずに、編集された画像全体の3D一貫性が保証される。 画像拡散モデルの奥行き条件付け機構を利用して,編集の空間的位置を細かく制御する。
  論文  参考訳（メタデータ） (2024-01-03T09:46:43Z)
• Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models [59.96172701917538]
  現在のニューラル・ラジアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューを生成することができる。 本稿ではInpaint4DNeRFを提案する。
  論文  参考訳（メタデータ） (2023-12-30T11:26:55Z)
• Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields [16.375242125946965]
  我々は,2つのNeRFネットワーク – 事前学習されたNeRFと編集可能なNeRF – で構成される,新しいNeRFベースモデルであるBlending-NeRFを提案する。 我々はBlending-NeRFがテキストで局所化されたターゲット領域を適切に編集できる新しいブレンディング操作を導入した。 実験の結果,Blending-NeRFはテキストプロンプトから自然および局所的に3Dオブジェクトを生成することがわかった。
  論文  参考訳（メタデータ） (2023-08-23T07:46:44Z)
• Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
  Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
  論文  参考訳（メタデータ） (2023-07-27T18:08:19Z)
• FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models [67.17713009917095]
  単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。 慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
  論文  参考訳（メタデータ） (2023-06-01T15:14:39Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields [62.89785701659139]
  我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。 NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
  論文  参考訳（メタデータ） (2022-09-24T18:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。