論文の概要: Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2306.12760v1
• Date: Thu, 22 Jun 2023 09:34:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 14:55:51.611591
• Title: Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields
• Title（参考訳）: Blended-NeRF:既存の神経放射場におけるゼロショットオブジェクト生成とブレンド
• Authors: Ori Gordon and Omri Avrahami and Dani Lischinski
• Abstract要約: 我々は,既存のNeRFシーンに対する特定の関心領域を編集するフレームワークであるBlended-NeRFを提案する。 提案手法では,事前訓練された言語画像モデルを用いて既存のNeRFシーンを操り,オブジェクトを生成し,それを特定の領域にブレンドする。 自然視・視界整合性のある結果を得るために,既存の幾何学的先行と3次元拡張を利用する。
• 参考スコア（独自算出の注目度）: 12.978277075725192
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Editing a local region or a specific object in a 3D scene represented by a NeRF is challenging, mainly due to the implicit nature of the scene representation. Consistently blending a new realistic object into the scene adds an additional level of difficulty. We present Blended-NeRF, a robust and flexible framework for editing a specific region of interest in an existing NeRF scene, based on text prompts or image patches, along with a 3D ROI box. Our method leverages a pretrained language-image model to steer the synthesis towards a user-provided text prompt or image patch, along with a 3D MLP model initialized on an existing NeRF scene to generate the object and blend it into a specified region in the original scene. We allow local editing by localizing a 3D ROI box in the input scene, and seamlessly blend the content synthesized inside the ROI with the existing scene using a novel volumetric blending technique. To obtain natural looking and view-consistent results, we leverage existing and new geometric priors and 3D augmentations for improving the visual fidelity of the final result. We test our framework both qualitatively and quantitatively on a variety of real 3D scenes and text prompts, demonstrating realistic multi-view consistent results with much flexibility and diversity compared to the baselines. Finally, we show the applicability of our framework for several 3D editing applications, including adding new objects to a scene, removing/replacing/altering existing objects, and texture conversion.
• Abstract（参考訳）: NeRFで表される3Dシーンで局所領域や特定のオブジェクトを編集することは、主にシーン表現の暗黙の性質のために困難である。 シーンに新しい現実的なオブジェクトを一貫して混ぜ合わせると、さらに難易度が増す。 我々は,テキストプロンプトや画像パッチをベースとした,既存のNeRFシーンに対する特定の関心領域を編集する,堅牢で柔軟なフレームワークであるBlended-NeRFと,3D ROIボックスを提案する。 本手法は,ユーザが入力したテキストプロンプトやイメージパッチに対して,事前学習した言語画像モデルと,既存のnerfシーンで初期化された3d mlpモデルを組み合わせて,オブジェクトを生成し,元のシーンの特定の領域にブレンドする。 入力シーンに3D ROIボックスを配置することで局所的な編集を可能とし、新しいボリュームブレンディング技術を用いてROI内で合成されたコンテンツを既存のシーンとシームレスにブレンドする。 自然視・視界整合性のある結果を得るために,既存の幾何学的先行と3次元拡張を利用して最終結果の視覚的忠実度を向上する。 我々は,実写3Dシーンやテキストプロンプトの質的,定量的にテストし,ベースラインと比較して多くの柔軟性と多様性を持った現実的なマルチビュー一貫性のある結果を示す。 最後に,シーンへの新たなオブジェクトの追加,既存オブジェクトの削除・更新・変更,テクスチャ変換など,いくつかの3d編集アプリケーションに対するフレームワークの適用性を示す。

関連論文リスト

• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields [13.425973473159406]
  本稿では,新しいテキスト誘導3Dシーン編集手法であるReplaceAnything3Dモデル(RAM3D)を紹介する。 シーンのマルチビューイメージと、置換すべきオブジェクトを記述したテキストプロンプト、新しいオブジェクトを記述したテキストプロンプトが与えられた場合、Erase-and-Replaceアプローチは、シーン内のオブジェクトを、新たに生成されたコンテンツで効果的に置き換えることができます。
  論文  参考訳（メタデータ） (2024-01-31T15:02:26Z)
• GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
  GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。 本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
  論文  参考訳（メタデータ） (2024-01-11T08:58:13Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Text2NeRF: Text-Driven 3D Scene Generation with Neural Radiance Fields [29.907615852310204]
  テキストプロンプトから多種多様な3Dシーンを生成できるText2NeRFを提案する。 本手法では,追加のトレーニングデータを必要としないが,入力としてシーンを自然言語で記述するのみである。
  論文  参考訳（メタデータ） (2023-05-19T10:58:04Z)
• CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout [13.364394556439992]
  テキストから3Dの形式は、AR/VRのための編集可能な3Dシーンを作成する上で重要な役割を果たす。 最近の進歩は、テキストから3Dオブジェクト生成のための事前訓練された拡散モデルとニューラルラジアンス場(NeRF)を融合させる可能性を示している。 編集可能な3Dシーンレイアウトとオブジェクト固有およびシーンワイドガイダンス機構を統合することで,CompoNeRFと呼ばれる新しいフレームワークを提案する。 本フレームワークは,マルチビューCLIPスコア測定によって最大54%の改善を実現している。
  論文  参考訳（メタデータ） (2023-03-24T07:37:09Z)
• Compositional 3D Scene Generation using Locally Conditioned Diffusion [49.5784841881488]
  合成シーン拡散へのアプローチとして,テクスブフォローカライズ条件付き拡散を導入する。 本研究では, スコア蒸留によるテキスト・ツー・3D合成パイプラインを試作し, 関連するベースラインよりも高忠実度で合成3Dシーンを生成できることを示した。
  論文  参考訳（メタデータ） (2023-03-21T22:37:16Z)
• Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
  NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。 本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。 本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T07:56:09Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。