論文の概要: InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2305.15094v2
• Date: Tue, 26 Mar 2024 13:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:39:58.448107
• Title: InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields
• Title（参考訳）: InNeRF360:360度ニューラルラジアンス場へのテキストガイド型3次元連続物体塗布
• Authors: Dongqing Wang, Tong Zhang, Alaa Abboud, Sabine Süsstrunk,
• Abstract要約: InNeRF360は、360度ニューラルレイディアンスフィールド(NeRF)からテキスト指定対象を除去する自動システムである。 マルチビューテキスト符号化セグメンテーションの整合性を強制するために,深度空間のワープを適用した。 我々は、視覚的可視性を確保するために、知覚的先行と3次元拡散に基づく幾何学的先行を用いて塗装されたNeRFモデルを洗練する。
• 参考スコア（独自算出の注目度）: 26.20280877227749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose InNeRF360, an automatic system that accurately removes text-specified objects from 360-degree Neural Radiance Fields (NeRF). The challenge is to effectively remove objects while inpainting perceptually consistent content for the missing regions, which is particularly demanding for existing NeRF models due to their implicit volumetric representation. Moreover, unbounded scenes are more prone to floater artifacts in the inpainted region than frontal-facing scenes, as the change of object appearance and background across views is more sensitive to inaccurate segmentations and inconsistent inpainting. With a trained NeRF and a text description, our method efficiently removes specified objects and inpaints visually consistent content without artifacts. We apply depth-space warping to enforce consistency across multiview text-encoded segmentations, and then refine the inpainted NeRF model using perceptual priors and 3D diffusion-based geometric priors to ensure visual plausibility. Through extensive experiments in segmentation and inpainting on 360-degree and frontal-facing NeRFs, we show that our approach is effective and enhances NeRF's editability. Project page: https://ivrl.github.io/InNeRF360.
• Abstract（参考訳）: InNeRF360は,360度ニューラルラジアンス場(NeRF)からテキスト特定対象を正確に除去するシステムである。 課題は、既存のNeRFモデルの暗黙の容積表現を特に要求している領域に対して、知覚的に一貫した内容に着色しながら、オブジェクトを効果的に除去することである。 また、不正確なセグメンテーションや不整合なインペインティングに対して、正面面のシーンよりも境界のないシーンの方が物体の外観や背景の変化に敏感であるため、塗装された領域の浮き彫りのアーティファクトの傾向が強い。 トレーニングされたNeRFとテキスト記述により,特定したオブジェクトを効率よく除去し,アーチファクトなしで視覚的に一貫したコンテンツをインペイントする。 我々は,多視点テキスト符号化セグメンテーションの整合性を強制するために奥行き空間のワープを適用し,視覚的可視性を確保するために,知覚的先行と3次元拡散に基づく幾何的先行を用いて,塗装されたNeRFモデルを洗練する。 また,360度および正面面のNeRFのセグメンテーションおよび塗布に関する広範な実験を通じて,本手法が有効であり,NeRFの編集性を高めることを示す。 プロジェクトページ: https://ivrl.github.io/InNeRF360。

関連論文リスト

• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• Reference-guided Controllable Inpainting of Neural Radiance Fields [26.296017756560467]
  我々は、表示に一貫性があり、制御可能な領域に焦点をあてる。 単眼深度推定器を用いて, 塗装された視界を正確な3D位置へバックプロジェクターする。 非参照非排除領域に対しては,形状と外観の両方をガイドする画像インペインターに基づく手法を考案する。
  論文  参考訳（メタデータ） (2023-04-19T14:11:21Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• Pre-NeRF 360: Enriching Unbounded Appearances for Neural Radiance Fields [8.634008996263649]
  我々は,NeRFアーキテクチャの性能向上のための新しいフレームワークを提案する。 我々のソリューションは、以前のバージョンのNeRFに悩まされていたいくつかの障害を克服します。 我々はN5k360データセットとして知られるNutrition5kデータセットの更新版を導入する。
  論文  参考訳（メタデータ） (2023-03-21T23:29:38Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors [14.911856302172996]
  我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。 より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-10T06:54:22Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。