論文の概要: Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2307.15131v2
• Date: Sun, 27 Aug 2023 01:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 21:04:22.349815
• Title: Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields
• Title（参考訳）: Seal-3D:ニューラルラジアンスフィールドのための対話型ピクセルレベル編集
• Authors: Xiangyu Wang, Jingsen Zhu, Qi Ye, Yuchi Huo, Yunlong Ran, Zhihua Zhong, Jiming Chen
• Abstract要約: Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
• 参考スコア（独自算出の注目度）: 14.803266838721864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models in the teacher model and a two-stage training strategy for the student model with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.
• Abstract（参考訳）: 暗黙のニューラル表現(NeRF)やニューラルラディアンスフィールド(NeRF)の人気により、再構成後のシーンや3Dコンテンツ作成といったタスクのために、暗黙の3Dモデルと相互作用する編集方法の必要性が高まっている。 以前の研究では様々な観点からNeRF編集を調査していたが、編集の柔軟性、品質、スピードに制限があり、直接編集応答やインスタントプレビューを提供しなかった。 重要な課題は、編集命令を直接反映し、即座に更新できるローカル編集可能なニューラル表現を想像することである。 このギャップを埋めるために,幅広いnerfライクなバックボーンを用いてnrfモデルをピクセルレベルで自由に編集し,編集効果を即座にプレビューできる,新しい対話型表現編集方式である seal-3d を提案する。 この効果を達成するために,教師モデルにおける編集指示をnrfモデルの原空間にマッピングするプロキシ関数と,局所事前学習とグローバル微調整を用いた学生モデルの2段階学習戦略によって課題を解決した。 様々な編集タイプを展示するために、NeRF編集システムを構築する。 本システムは約1秒のインタラクティブな速度で魅力的な編集効果を実現できる。

関連論文リスト

• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields [7.678022563694719]
  SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。 編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
  論文  参考訳（メタデータ） (2024-02-21T03:45:18Z)
• Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training [61.984277261016146]
  テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。 最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。 第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
  論文  参考訳（メタデータ） (2023-12-04T06:25:06Z)
• ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
  ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。 現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。 このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
  論文  参考訳（メタデータ） (2023-10-04T10:28:38Z)
• Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
  DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。 本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。 本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
  論文  参考訳（メタデータ） (2023-09-10T02:31:50Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models [67.17713009917095]
  単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。 慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
  論文  参考訳（メタデータ） (2023-06-01T15:14:39Z)
• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field [37.8162035179377]
  我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
  論文  参考訳（メタデータ） (2023-03-23T13:58:11Z)
• Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions [109.51624993088687]
  テキストインストラクションを用いたNeRFシーンの編集手法を提案する。 シーンのNeRFと再構成に使用される画像の収集を前提として,画像条件の拡散モデル(InstructPix2Pix)を用いてシーンを最適化しながら入力画像を反復的に編集する。 提案手法は,大規模で現実的なシーンの編集が可能であり,従来よりもリアルで目標とした編集を実現できることを実証する。
  論文  参考訳（メタデータ） (2023-03-22T17:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。