論文の概要: CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout

• arxiv url: http://arxiv.org/abs/2303.13843v5
• Date: Tue, 24 Sep 2024 11:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 15:24:36.820039
• Title: CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout
• Title（参考訳）: CompoNeRF:編集可能な3Dシーンレイアウトによるテキスト誘導多目的合成型NeRF
• Authors: Haotian Bai, Yuanhuiyi Lyu, Lutao Jiang, Sijia Li, Haonan Lu, Xiaodong Lin, Lin Wang,
• Abstract要約: テキストから3Dの形式は、AR/VRのための編集可能な3Dシーンを作成する上で重要な役割を果たす。 最近の進歩は、テキストから3Dオブジェクト生成のための事前訓練された拡散モデルとニューラルラジアンス場(NeRF)を融合させる可能性を示している。 編集可能な3Dシーンレイアウトとオブジェクト固有およびシーンワイドガイダンス機構を統合することで,CompoNeRFと呼ばれる新しいフレームワークを提案する。 本フレームワークは,マルチビューCLIPスコア測定によって最大54%の改善を実現している。
• 参考スコア（独自算出の注目度）: 13.364394556439992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-3D form plays a crucial role in creating editable 3D scenes for AR/VR. Recent advances have shown promise in merging neural radiance fields (NeRFs) with pre-trained diffusion models for text-to-3D object generation. However, one enduring challenge is their inadequate capability to accurately parse and regenerate consistent multi-object environments. Specifically, these models encounter difficulties in accurately representing quantity and style prompted by multi-object texts, often resulting in a collapse of the rendering fidelity that fails to match the semantic intricacies. Moreover, amalgamating these elements into a coherent 3D scene is a substantial challenge, stemming from generic distribution inherent in diffusion models. To tackle the issue of 'guidance collapse' and further enhance scene consistency, we propose a novel framework, dubbed CompoNeRF, by integrating an editable 3D scene layout with object-specific and scene-wide guidance mechanisms. It initiates by interpreting a complex text into the layout populated with multiple NeRFs, each paired with a corresponding subtext prompt for precise object depiction. Next, a tailored composition module seamlessly blends these NeRFs, promoting consistency, while the dual-level text guidance reduces ambiguity and boosts accuracy. Noticeably, our composition design permits decomposition. This enables flexible scene editing and recomposition into new scenes based on the edited layout or text prompts. Utilizing the open-source Stable Diffusion model, CompoNeRF generates multi-object scenes with high fidelity. Remarkably, our framework achieves up to a \textbf{54\%} improvement by the multi-view CLIP score metric. Our user study indicates that our method has significantly improved semantic accuracy, multi-view consistency, and individual recognizability for multi-object scene generation.
• Abstract（参考訳）: テキストから3Dの形式は、AR/VRのための編集可能な3Dシーンを作成する上で重要な役割を果たす。 最近の進歩は、テキストから3Dオブジェクト生成のための事前訓練された拡散モデルとニューラルラジアンス場(NeRF)を融合させる可能性を示している。 しかし、永続的な課題のひとつは、一貫性のあるマルチオブジェクト環境を正確に解析し再生する能力が不十分であることだ。 特に、これらのモデルは、多目的テキストによって引き起こされる量やスタイルを正確に表現することが困難であり、しばしば、意味的な複雑さにマッチしないレンダリングの忠実度が崩壊する。 さらに、これらの要素をコヒーレントな3Dシーンにアマルゲイトすることは、拡散モデルに固有の一般的な分布から生じる、重大な課題である。 そこで我々は,「誘導崩壊」の問題に対処し,さらにシーンの一貫性を高めるために,編集可能な3Dシーンレイアウトとオブジェクト固有およびシーンワイドガイダンス機構を統合することで,CompoNeRFと呼ばれる新しいフレームワークを提案する。 複雑なテキストを複数のNeRFで区切られたレイアウトに解釈し、それぞれが対応するサブテキストプロンプトとペアになって、正確なオブジェクトの描写を行う。 次に、調整された合成モジュールがこれらのNeRFをシームレスにブレンドし、一貫性を促進し、二重レベルテキストガイダンスは曖昧さを低減し、精度を高める。 特に、我々の構成設計では分解が可能である。 これにより、編集されたレイアウトやテキストプロンプトに基づいてフレキシブルなシーン編集と新しいシーンへの再構成が可能になる。 オープンソースの安定拡散モデルを用いて、CompoNeRFは高忠実度な多目的シーンを生成する。 注目すべきは、このフレームワークはマルチビューCLIPスコア測定により、最大で \textbf{54\%} の改善を実現している点である。 提案手法は,多目的シーン生成のための意味的精度,多視点一貫性,個人認識性を大幅に向上したことを示す。

関連論文リスト

• SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing [58.22339174221563]
  高忠実度3Dシーン編集のための新しい幾何誘導型マルチビュー一貫したノイズ編集手法SyncNoiseを提案する。 SyncNoiseは2次元拡散モデルで複数のビューを同期的に編集し、幾何的に一貫した多視点ノイズ予測を行う。 本手法は,特に複雑なテクスチャを持つシーンにおいて,テキストの指示に配慮した高品質な3D編集結果を実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:17:35Z)
• ${M^2D}$NeRF: Multi-Modal Decomposition NeRF with 3D Feature Fields [33.168225243348786]
  テキストベースと視覚パッチベースの編集が可能な単一モデルであるM2D$NeRF(M2D$NeRF)を提案する。 具体的には,教師の特徴を事前学習した視覚モデルと言語モデルから3次元意味的特徴量へ統合するために,マルチモーダルな特徴蒸留を用いる。 実世界の様々な場面における実験は,従来のNeRF法と比較して3次元シーン分解作業において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-05-08T12:25:21Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs [74.98581417902201]
  シーングラフから合成3Dシーンを生成するための新しいフレームワークを提案する。 シーングラフにおけるノード情報とエッジ情報を活用することにより,事前学習したテキスト・画像拡散モデルをよりよく活用する。 GraphDreamerの有効性を検証するために,定性的および定量的な実験を行った。
  論文  参考訳（メタデータ） (2023-11-30T18:59:58Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields [26.85599376826124]
  我々は,既存のNeRFシーンに対する特定の関心領域を編集するフレームワークであるBlended-NeRFを提案する。 入力シーンに3次元ROIボックスを配置することで局所的な編集を可能にし、ROI内で合成されたコンテンツを既存のシーンとブレンドする。 シーンに新しいオブジェクトを追加すること、既存のオブジェクトを削除/変更すること、テクスチャ変換など、いくつかの3D編集アプリケーションのためのフレームワークを示す。
  論文  参考訳（メタデータ） (2023-06-22T09:34:55Z)
• Compositional 3D Scene Generation using Locally Conditioned Diffusion [49.5784841881488]
  合成シーン拡散へのアプローチとして,テクスブフォローカライズ条件付き拡散を導入する。 本研究では, スコア蒸留によるテキスト・ツー・3D合成パイプラインを試作し, 関連するベースラインよりも高忠実度で合成3Dシーンを生成できることを示した。
  論文  参考訳（メタデータ） (2023-03-21T22:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。