論文の概要: CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D
Scene Layout
- arxiv url: http://arxiv.org/abs/2303.13843v1
- Date: Fri, 24 Mar 2023 07:37:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 15:27:55.472147
- Title: CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D
Scene Layout
- Title(参考訳): CompoNeRF:編集可能な3Dシーンレイアウトによるテキスト誘導多目的合成型NeRF
- Authors: Yiqi Lin, Haotian Bai, Sijia Li, Haonan Lu, Xiaodong Lin, Hui Xiong,
Lin Wang
- Abstract要約: 我々は,編集可能な3Dシーンレイアウトを明示的に組み込んで,単一のオブジェクト(ローカル)と全体(グローバル)レベルで効果的なガイダンスを提供する,CompoNeRFと呼ばれる新しいフレームワークを提案する。
我々のCompoNeRFは、3Dレイアウトやテキストプロンプトを操作することで、訓練されたローカルNeRFのフレキシブルなシーン編集と再構成を可能にします。
- 参考スコア(独自算出の注目度): 20.333860991725683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent research endeavors have shown that combining neural radiance fields
(NeRFs) with pre-trained diffusion models holds great potential for text-to-3D
generation.However, a hurdle is that they often encounter guidance collapse
when rendering complex scenes from multi-object texts. Because the
text-to-image diffusion models are inherently unconstrained, making them less
competent to accurately associate object semantics with specific 3D structures.
To address this issue, we propose a novel framework, dubbed CompoNeRF, that
explicitly incorporates an editable 3D scene layout to provide effective
guidance at the single object (i.e., local) and whole scene (i.e., global)
levels. Firstly, we interpret the multi-object text as an editable 3D scene
layout containing multiple local NeRFs associated with the object-specific 3D
box coordinates and text prompt, which can be easily collected from users.
Then, we introduce a global MLP to calibrate the compositional latent features
from local NeRFs, which surprisingly improves the view consistency across
different local NeRFs. Lastly, we apply the text guidance on global and local
levels through their corresponding views to avoid guidance ambiguity. This way,
our CompoNeRF allows for flexible scene editing and re-composition of trained
local NeRFs into a new scene by manipulating the 3D layout or text prompt.
Leveraging the open-source Stable Diffusion model, our CompoNeRF can generate
faithful and editable text-to-3D results while opening a potential direction
for text-guided multi-object composition via the editable 3D scene layout.
- Abstract(参考訳): 最近の研究により、ニューラルネットワークの放射場(nerfs)と事前学習された拡散モデルの組み合わせは、テキストから3dを生成する上で大きな可能性を秘めていることが示されている。
テキストと画像の拡散モデルは本質的に制約がなく、オブジェクトのセマンティクスと特定の3D構造を正確に関連付ける能力が低い。
この問題に対処するため,我々はCompoNeRFと呼ばれる新しいフレームワークを提案し,編集可能な3Dシーンレイアウトを明示的に組み込んで,単一のオブジェクト(ローカル)と全シーン(グローバル)レベルで効果的なガイダンスを提供する。
まず、複数オブジェクトのテキストを、オブジェクト固有の3Dボックス座標とテキストプロンプトに関連付けられた複数のローカルNeRFを含む編集可能な3Dシーンレイアウトとして解釈する。
次に,局所的NeRFから合成潜時特徴を校正するグローバルMPPを導入し,異なる局所的NeRF間のビュー一貫性を驚くほど向上させる。
最後に,グローバルレベルとローカルレベルに関するテキストガイダンスを,対応するビューを通じて適用することで,ガイダンスあいまいさを回避できる。
このようにして、当社のCompoNeRFは、3Dレイアウトやテキストプロンプトを操作することで、訓練されたローカルNeRFのフレキシブルなシーン編集と再構成を可能にします。
オープンソースの安定拡散モデルを利用することで,編集可能な3dシーンレイアウトを通じて,テキスト誘導型多目的合成の潜在的方向を開放しつつ,忠実かつ編集可能なテキストから3dへの結果を生成することができる。
関連論文リスト
- LatentEditor: Text Driven Local Editing of 3D Scenes [9.619713456771603]
テキストプロンプトを用いたニューラルネットワークの精密かつ局所的な編集のためのフレームワークであるtextscLatentEditorを紹介する。
現実のシーンを潜伏空間に埋め込むことに成功したので、より高速で適応性の高いNeRFバックボーンが編集に役立ちます。
提案手法は既存の3D編集モデルと比較して高速な編集速度と出力品質を実現する。
論文 参考訳(メタデータ) (2023-12-14T19:38:06Z) - TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。
提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-12-07T12:10:05Z) - Directional Texture Editing for 3D Models [51.31499400557996]
ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。
拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
論文 参考訳(メタデータ) (2023-09-26T12:01:13Z) - Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields [16.375242125946965]
我々は,2つのNeRFネットワーク – 事前学習されたNeRFと編集可能なNeRF – で構成される,新しいNeRFベースモデルであるBlending-NeRFを提案する。
我々はBlending-NeRFがテキストで局所化されたターゲット領域を適切に編集できる新しいブレンディング操作を導入した。
実験の結果,Blending-NeRFはテキストプロンプトから自然および局所的に3Dオブジェクトを生成することがわかった。
論文 参考訳(メタデータ) (2023-08-23T07:46:44Z) - Blended-NeRF: Zero-Shot Object Generation and Blending in Existing
Neural Radiance Fields [26.85599376826124]
我々は,既存のNeRFシーンに対する特定の関心領域を編集するフレームワークであるBlended-NeRFを提案する。
入力シーンに3次元ROIボックスを配置することで局所的な編集を可能にし、ROI内で合成されたコンテンツを既存のシーンとブレンドする。
シーンに新しいオブジェクトを追加すること、既存のオブジェクトを削除/変更すること、テクスチャ変換など、いくつかの3D編集アプリケーションのためのフレームワークを示す。
論文 参考訳(メタデータ) (2023-06-22T09:34:55Z) - RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。
具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。
実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
論文 参考訳(メタデータ) (2023-06-09T04:49:31Z) - ATT3D: Amortized Text-to-3D Object Synthesis [78.96673650638365]
我々は、個別にではなく、統一されたモデルと同時に多くのプロンプトをトレーニングすることで、テキストプロンプトに対する最適化を保留する。
我々のフレームワークであるAmortized text-to-3D (ATT3D)は、プロンプト間の知識共有を可能にし、未知のセットアップに一般化し、新しいアセットのためのテキストと単純なアニメーション間のスムーズなスムーズさを実現する。
論文 参考訳(メタデータ) (2023-06-06T17:59:10Z) - InpaintNeRF360: Text-Guided 3D Inpainting on Unbounded Neural Radiance
Fields [12.550958219944594]
InpaintNeRF360は、自然言語の指示を3Dシーンのインペイントのためのガイダンスとして利用する統合フレームワークである。
InpaintNeRF360は、複数のオブジェクトを同時に削除したり、テキスト命令に基づいてオブジェクトの外観を変更することができる。
提案手法の有効性を実証し,暗示放射場の編集可能性を高める可能性を示す。
論文 参考訳(メタデータ) (2023-05-24T12:22:23Z) - Compositional 3D Scene Generation using Locally Conditioned Diffusion [49.5784841881488]
合成シーン拡散へのアプローチとして,テクスブフォローカライズ条件付き拡散を導入する。
本研究では, スコア蒸留によるテキスト・ツー・3D合成パイプラインを試作し, 関連するベースラインよりも高忠実度で合成3Dシーンを生成できることを示した。
論文 参考訳(メタデータ) (2023-03-21T22:37:16Z) - 3D-CLFusion: Fast Text-to-3D Rendering with Contrastive Latent Diffusion [55.71215821923401]
我々は、事前訓練された潜伏型NeRF(入力潜伏符号を与えられた3次元オブジェクトを生成するNeRF)によるテキストから3次元生成の課題に取り組む。
本稿では,3D-CLFusion という3D-CLFusion という手法を提案する。
論文 参考訳(メタデータ) (2023-03-21T15:38:26Z) - SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。
我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。
本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-19T18:40:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。