論文の概要: NeRF-Insert: 3D Local Editing with Multimodal Control Signals

• arxiv url: http://arxiv.org/abs/2404.19204v1
• Date: Tue, 30 Apr 2024 02:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 15:43:32.766305
• Title: NeRF-Insert: 3D Local Editing with Multimodal Control Signals
• Title（参考訳）: NeRF-Insert:マルチモーダル制御信号を用いた3次元局所編集
• Authors: Benet Oriol Sabat, Alessandro Achille, Matthew Trager, Stefano Soatto,
• Abstract要約: NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
• 参考スコア（独自算出の注目度）: 97.91172669905578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose NeRF-Insert, a NeRF editing framework that allows users to make high-quality local edits with a flexible level of control. Unlike previous work that relied on image-to-image models, we cast scene editing as an in-painting problem, which encourages the global structure of the scene to be preserved. Moreover, while most existing methods use only textual prompts to condition edits, our framework accepts a combination of inputs of different modalities as reference. More precisely, a user may provide a combination of textual and visual inputs including images, CAD models, and binary image masks for specifying a 3D region. We use generic image generation models to in-paint the scene from multiple viewpoints, and lift the local edits to a 3D-consistent NeRF edit. Compared to previous methods, our results show better visual quality and also maintain stronger consistency with the original NeRF.
• Abstract（参考訳）: 本研究では,NeRF編集フレームワークであるNeRF-Insertを提案する。 イメージ・ツー・イメージ・モデルに依存した以前の作品とは異なり、シーン編集は画中の問題であり、シーンのグローバルな構造を保存することを奨励する。 さらに,既存のほとんどの手法では条件編集にテキストプロンプトしか使用していないが,本フレームワークでは異なるモーダルの入力の組み合わせを参照として受け入れている。 より正確には、3D領域を指定するための画像、CADモデル、バイナリ画像マスクを含むテキスト入力と視覚入力の組み合わせを提供することができる。 汎用画像生成モデルを用いて、複数の視点からシーンをインペイントし、局所的な編集を3D一貫性のNeRF編集に引き上げる。 従来の方法と比較すると, 視覚的品質が向上し, 元のNeRFとの整合性も向上した。

関連論文リスト

• ICE-G: Image Conditional Editing of 3D Gaussian Splats [45.112689255145625]
  単一の参照ビューから3Dモデルを素早く編集するための新しいアプローチを提案する。 我々の技術はまず編集画像を分割し、選択したセグメント化されたデータセットビュー間で意味的に対応する領域をマッチングする。 編集画像の特定の領域からの色やテクスチャの変化を、意味的に理解できる方法で、他のビューに自動的に適用することができる。
  論文  参考訳（メタデータ） (2024-06-12T17:59:52Z)
• DATENeRF: Depth-Aware Text-based Editing of NeRFs [49.08848777124736]
  我々は、NeRFシーンの深度情報を利用して異なる画像に2D編集を分散する塗装手法を提案する。 以上の結果から,本手法は既存のテキスト駆動型NeRFシーン編集手法よりも,より一貫性があり,ライフライクで,詳細な編集が可能であることが判明した。
  論文  参考訳（メタデータ） (2024-04-06T06:48:16Z)
• ZONE: Zero-Shot Instruction-Guided Local Editing [56.56213730578504]
  ゼロショットインストラクションを用いた局所画像編集手法ZONEを提案する。 InstructPix2Pixを通してユーザが提供する命令から特定の画像編集領域に変換する。 次に,オフザシェルフセグメントモデルから正確な画像層抽出を行う領域IoU方式を提案する。
  論文  参考訳（メタデータ） (2023-12-28T02:54:34Z)
• Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training [61.984277261016146]
  テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。 最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。 第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
  論文  参考訳（メタデータ） (2023-12-04T06:25:06Z)
• Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
  DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。 本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。 本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
  論文  参考訳（メタデータ） (2023-09-10T02:31:50Z)
• Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
  Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
  論文  参考訳（メタデータ） (2023-07-27T18:08:19Z)
• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field [37.8162035179377]
  我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
  論文  参考訳（メタデータ） (2023-03-23T13:58:11Z)
• Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions [109.51624993088687]
  テキストインストラクションを用いたNeRFシーンの編集手法を提案する。 シーンのNeRFと再構成に使用される画像の収集を前提として,画像条件の拡散モデル(InstructPix2Pix)を用いてシーンを最適化しながら入力画像を反復的に編集する。 提案手法は,大規模で現実的なシーンの編集が可能であり,従来よりもリアルで目標とした編集を実現できることを実証する。
  論文  参考訳（メタデータ） (2023-03-22T17:57:57Z)
• NeRFEditor: Differentiable Style Decomposition for Full 3D Scene Editing [37.06344045938838]
  我々は,3次元シーン編集のための効率的な学習フレームワークであるNeRFEditorを提案する。 NeRFEditorは360deg以上の映像を入力として撮影し、高品質でアイデンティティを保存可能なスタイリングされた3Dシーンを出力する。
  論文  参考訳（メタデータ） (2022-12-07T18:44:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。