論文の概要: CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout

• arxiv url: http://arxiv.org/abs/2303.13843v3
• Date: Sat, 2 Dec 2023 09:01:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 01:29:43.945403
• Title: CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout
• Title（参考訳）: CompoNeRF:編集可能な3Dシーンレイアウトによるテキスト誘導多目的合成型NeRF
• Authors: Haotian Bai, Yuanhuiyi Lyu, Lutao Jiang, Sijia Li, Haonan Lu, Xiaodong Lin, Lin Wang
• Abstract要約: CompoNeRFは、編集可能な3Dシーンレイアウトとオブジェクト固有およびシーンワイドガイダンスメカニズムを統合するフレームワークである。 本フレームワークは,マルチビューCLIPスコア測定値から,最大54%の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 14.034561752463796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances have shown promise in merging neural radiance fields (NeRFs) with pre-trained diffusion models for text-to-3D object generation. However, one enduring challenge is their inadequate capability to accurately parse and regenerate consistent multi-object environments. Specifically, these models encounter difficulties in accurately representing quantity and style prompted by multi-object texts, often resulting in a collapse of the rendering fidelity that fails to match the semantic intricacies. Moreover, amalgamating these elements into a coherent 3D scene is a substantial challenge, stemming from generic distribution inherent in diffusion models. To tackle the issue of 'guidance collapse' and enhance consistency, we propose a novel framework, dubbed CompoNeRF, by integrating an editable 3D scene layout with object specific and scene-wide guidance mechanisms. It initiates by interpreting a complex text into an editable 3D layout populated with multiple NeRFs, each paired with a corresponding subtext prompt for precise object depiction. Next, a tailored composition module seamlessly blends these NeRFs, promoting consistency, while the dual-level text guidance reduces ambiguity and boosts accuracy. Noticeably, the unique modularity of CompoNeRF permits NeRF decomposition. This enables flexible scene editing and recomposition into new scenes based on the edited layout or text prompts. Utilizing the open source Stable Diffusion model, CompoNeRF not only generates scenes with high fidelity but also paves the way for innovative multi-object composition using editable 3D layouts. Remarkably, our framework achieves up to a 54\% improvement in performance, as measured by the multi-view CLIP score metric. Code is available at https://github.com/hbai98/Componerf.
• Abstract（参考訳）: 最近の進歩は、テキストから3Dオブジェクト生成のための事前訓練された拡散モデルとニューラルラジアンス場(NeRF)を融合させる可能性を示している。 しかし、永続的な課題のひとつは、一貫性のあるマルチオブジェクト環境を正確に解析し再生する能力が不十分であることだ。 特に、これらのモデルは、多目的テキストによって引き起こされる量とスタイルを正確に表現することが困難であり、しばしば、意味的な複雑さにマッチしないレンダリング忠実性が崩壊する。 さらに、これらの要素をコヒーレントな3dシーンに融合することは大きな課題であり、拡散モデルに固有の一般的な分布に由来する。 誘導崩壊問題に対処し、一貫性を高めるために、編集可能な3Dシーンレイアウトとオブジェクト固有およびシーンワイドガイダンス機構を統合することで、CompoNeRFと呼ばれる新しいフレームワークを提案する。 複雑なテキストを複数のNeRFで集約された編集可能な3Dレイアウトに解釈し、対応するサブテキストプロンプトと組み合わせて、正確なオブジェクトの描写を行う。 次に、調整された合成モジュールがこれらのNeRFをシームレスにブレンドし、一貫性を促進し、二重レベルテキストガイダンスは曖昧さを低減し、精度を高める。 特に、CompoNeRFのユニークなモジュラリティは、NeRF分解を可能にする。 これにより、編集されたレイアウトやテキストプロンプトに基づいてフレキシブルなシーン編集と新しいシーンへの再構成が可能になる。 オープンソースの安定拡散モデルを利用することで、CompoNeRFは高い忠実度を持つシーンを生成するだけでなく、編集可能な3Dレイアウトを用いた革新的なマルチオブジェクト合成の道を開く。 注目すべきは,マルチビューCLIPスコアの計測値から,最大54倍の性能向上を実現している点である。 コードはhttps://github.com/hbai98/componerfで入手できる。

関連論文リスト

• SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing [58.22339174221563]
  高忠実度3Dシーン編集のための新しい幾何誘導型マルチビュー一貫したノイズ編集手法SyncNoiseを提案する。 SyncNoiseは2次元拡散モデルで複数のビューを同期的に編集し、幾何的に一貫した多視点ノイズ予測を行う。 本手法は,特に複雑なテクスチャを持つシーンにおいて,テキストの指示に配慮した高品質な3D編集結果を実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:17:35Z)
• ${M^2D}$NeRF: Multi-Modal Decomposition NeRF with 3D Feature Fields [33.168225243348786]
  テキストベースと視覚パッチベースの編集が可能な単一モデルであるM2D$NeRF(M2D$NeRF)を提案する。 具体的には,教師の特徴を事前学習した視覚モデルと言語モデルから3次元意味的特徴量へ統合するために,マルチモーダルな特徴蒸留を用いる。 実世界の様々な場面における実験は,従来のNeRF法と比較して3次元シーン分解作業において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-05-08T12:25:21Z)
• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields [16.375242125946965]
  我々は,2つのNeRFネットワーク – 事前学習されたNeRFと編集可能なNeRF – で構成される,新しいNeRFベースモデルであるBlending-NeRFを提案する。 我々はBlending-NeRFがテキストで局所化されたターゲット領域を適切に編集できる新しいブレンディング操作を導入した。 実験の結果,Blending-NeRFはテキストプロンプトから自然および局所的に3Dオブジェクトを生成することがわかった。
  論文  参考訳（メタデータ） (2023-08-23T07:46:44Z)
• Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields [26.85599376826124]
  我々は,既存のNeRFシーンに対する特定の関心領域を編集するフレームワークであるBlended-NeRFを提案する。 入力シーンに3次元ROIボックスを配置することで局所的な編集を可能にし、ROI内で合成されたコンテンツを既存のシーンとブレンドする。 シーンに新しいオブジェクトを追加すること、既存のオブジェクトを削除/変更すること、テクスチャ変換など、いくつかの3D編集アプリケーションのためのフレームワークを示す。
  論文  参考訳（メタデータ） (2023-06-22T09:34:55Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• Compositional 3D Scene Generation using Locally Conditioned Diffusion [49.5784841881488]
  合成シーン拡散へのアプローチとして,テクスブフォローカライズ条件付き拡散を導入する。 本研究では, スコア蒸留によるテキスト・ツー・3D合成パイプラインを試作し, 関連するベースラインよりも高忠実度で合成3Dシーンを生成できることを示した。
  論文  参考訳（メタデータ） (2023-03-21T22:37:16Z)
• SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
  我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-19T18:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。