論文の概要: InpaintNeRF360: Text-Guided 3D Inpainting on Unbounded Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2305.15094v1
• Date: Wed, 24 May 2023 12:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 15:59:13.582868
• Title: InpaintNeRF360: Text-Guided 3D Inpainting on Unbounded Neural Radiance Fields
• Title（参考訳）: InpaintNeRF360:unbounded Neural Radiance Field上のテキストガイド3Dインペインティング
• Authors: Dongqing Wang, Tong Zhang, Alaa Abboud, Sabine S\"usstrunk
• Abstract要約: InpaintNeRF360は、自然言語の指示を3Dシーンのインペイントのためのガイダンスとして利用する統合フレームワークである。 InpaintNeRF360は、複数のオブジェクトを同時に削除したり、テキスト命令に基づいてオブジェクトの外観を変更することができる。 提案手法の有効性を実証し,暗示放射場の編集可能性を高める可能性を示す。
• 参考スコア（独自算出の注目度）: 12.550958219944594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) can generate highly realistic novel views. However, editing 3D scenes represented by NeRF across 360-degree views, particularly removing objects while preserving geometric and photometric consistency, remains a challenging problem due to NeRF's implicit scene representation. In this paper, we propose InpaintNeRF360, a unified framework that utilizes natural language instructions as guidance for inpainting NeRF-based 3D scenes.Our approach employs a promptable segmentation model by generating multi-modal prompts from the encoded text for multiview segmentation. We apply depth-space warping to enforce viewing consistency in the segmentations, and further refine the inpainted NeRF model using perceptual priors to ensure visual plausibility. InpaintNeRF360 is capable of simultaneously removing multiple objects or modifying object appearance based on text instructions while synthesizing 3D viewing-consistent and photo-realistic inpainting. Through extensive experiments on both unbounded and frontal-facing scenes trained through NeRF, we demonstrate the effectiveness of our approach and showcase its potential to enhance the editability of implicit radiance fields.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、非常に現実的な新しいビューを生成する。 しかし、NeRFで表現される3Dシーンを360度ビューで編集し、特に幾何学的および測光的一貫性を維持しながらオブジェクトを除去することは、NeRFの暗黙的なシーン表現のために難しい問題である。 本稿では,NeRFをベースとした3Dシーンを描画するためのガイダンスとして自然言語命令を利用する統一フレームワークであるInpaintNeRF360を提案する。 また,視認性を確保するために,奥行き空間ウォーピングを応用し,知覚的事前情報を用いたインペインテッドnerfモデルをさらに洗練する。 InpaintNeRF360は、複数のオブジェクトを同時に削除したり、テキスト命令に基づいてオブジェクトの外観を変更することができる。 我々は,NeRFを用いて訓練した非有界および正面面の両方のシーンに対する広範な実験を通じて,我々のアプローチの有効性を実証し,暗示放射野の編集性を高める可能性を示した。

関連論文リスト

• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• Reference-guided Controllable Inpainting of Neural Radiance Fields [26.296017756560467]
  我々は、表示に一貫性があり、制御可能な領域に焦点をあてる。 単眼深度推定器を用いて, 塗装された視界を正確な3D位置へバックプロジェクターする。 非参照非排除領域に対しては,形状と外観の両方をガイドする画像インペインターに基づく手法を考案する。
  論文  参考訳（メタデータ） (2023-04-19T14:11:21Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• Pre-NeRF 360: Enriching Unbounded Appearances for Neural Radiance Fields [8.634008996263649]
  我々は,NeRFアーキテクチャの性能向上のための新しいフレームワークを提案する。 我々のソリューションは、以前のバージョンのNeRFに悩まされていたいくつかの障害を克服します。 我々はN5k360データセットとして知られるNutrition5kデータセットの更新版を導入する。
  論文  参考訳（メタデータ） (2023-03-21T23:29:38Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors [14.911856302172996]
  我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。 より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-10T06:54:22Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。