論文の概要: InpaintNeRF360: Text-Guided 3D Inpainting on Unbounded Neural Radiance
Fields
- arxiv url: http://arxiv.org/abs/2305.15094v1
- Date: Wed, 24 May 2023 12:22:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 15:59:13.582868
- Title: InpaintNeRF360: Text-Guided 3D Inpainting on Unbounded Neural Radiance
Fields
- Title（参考訳）: InpaintNeRF360:unbounded Neural Radiance Field上のテキストガイド3Dインペインティング
- Authors: Dongqing Wang, Tong Zhang, Alaa Abboud, Sabine S\"usstrunk
- Abstract要約: InpaintNeRF360は、自然言語の指示を3Dシーンのインペイントのためのガイダンスとして利用する統合フレームワークである。
InpaintNeRF360は、複数のオブジェクトを同時に削除したり、テキスト命令に基づいてオブジェクトの外観を変更することができる。
提案手法の有効性を実証し,暗示放射場の編集可能性を高める可能性を示す。
- 参考スコア（独自算出の注目度）: 12.550958219944594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) can generate highly realistic novel views.
However, editing 3D scenes represented by NeRF across 360-degree views,
particularly removing objects while preserving geometric and photometric
consistency, remains a challenging problem due to NeRF's implicit scene
representation. In this paper, we propose InpaintNeRF360, a unified framework
that utilizes natural language instructions as guidance for inpainting
NeRF-based 3D scenes.Our approach employs a promptable segmentation model by
generating multi-modal prompts from the encoded text for multiview
segmentation. We apply depth-space warping to enforce viewing consistency in
the segmentations, and further refine the inpainted NeRF model using perceptual
priors to ensure visual plausibility. InpaintNeRF360 is capable of
simultaneously removing multiple objects or modifying object appearance based
on text instructions while synthesizing 3D viewing-consistent and
photo-realistic inpainting. Through extensive experiments on both unbounded and
frontal-facing scenes trained through NeRF, we demonstrate the effectiveness of
our approach and showcase its potential to enhance the editability of implicit
radiance fields.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、非常に現実的な新しいビューを生成する。
しかし、NeRFで表現される3Dシーンを360度ビューで編集し、特に幾何学的および測光的一貫性を維持しながらオブジェクトを除去することは、NeRFの暗黙的なシーン表現のために難しい問題である。
本稿では,NeRFをベースとした3Dシーンを描画するためのガイダンスとして自然言語命令を利用する統一フレームワークであるInpaintNeRF360を提案する。
また,視認性を確保するために,奥行き空間ウォーピングを応用し,知覚的事前情報を用いたインペインテッドnerfモデルをさらに洗練する。
InpaintNeRF360は、複数のオブジェクトを同時に削除したり、テキスト命令に基づいてオブジェクトの外観を変更することができる。
我々は,NeRFを用いて訓練した非有界および正面面の両方のシーンに対する広範な実験を通じて,我々のアプローチの有効性を実証し,暗示放射野の編集性を高める可能性を示した。
関連論文リスト
- Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳（メタデータ） (2023-05-07T13:11:07Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D
Scene Layout [20.333860991725683]
我々は,編集可能な3Dシーンレイアウトを明示的に組み込んで,単一のオブジェクト(ローカル)と全体(グローバル)レベルで効果的なガイダンスを提供する,CompoNeRFと呼ばれる新しいフレームワークを提案する。
我々のCompoNeRFは、3Dレイアウトやテキストプロンプトを操作することで、訓練されたローカルNeRFのフレキシブルなシーン編集と再構成を可能にします。
論文 参考訳（メタデータ） (2023-03-24T07:37:09Z) - NeRFMeshing: Distilling Neural Radiance Fields into
Geometrically-Accurate 3D Meshes [56.31855837632735]
我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。
最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
論文 参考訳（メタデータ） (2023-03-16T16:06:03Z) - SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural
Radiance Fields [26.296017756560467]
3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。
本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。
我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
論文 参考訳（メタデータ） (2022-11-22T13:14:50Z) - NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors [14.911856302172996]
我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。
より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-10T06:54:22Z) - Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。
本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。
本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
論文 参考訳（メタデータ） (2022-05-31T07:56:09Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳（メタデータ） (2020-10-15T03:24:14Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。