論文の概要: SIGNeRF: Scene Integrated Generation for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2401.01647v2
• Date: Wed, 27 Mar 2024 09:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 22:13:36.032539
• Title: SIGNeRF: Scene Integrated Generation for Neural Radiance Fields
• Title（参考訳）: SIGNeRF:ニューラルラジアンスフィールドのためのシーン統合生成
• Authors: Jan-Niklas Dihlmann, Andreas Engelhardt, Hendrik Lensch,
• Abstract要約: 高速かつ制御可能なNeRFシーン編集とシーン統合オブジェクト生成のための新しいアプローチを提案する。 新しい生成的更新戦略により、反復的な最適化を必要とせずに、編集された画像全体の3D一貫性が保証される。 画像拡散モデルの奥行き条件付け機構を利用して,編集の空間的位置を細かく制御する。
• 参考スコア（独自算出の注目度）: 1.1037667460077816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in image diffusion models have recently led to notable improvements in the generation of high-quality images. In combination with Neural Radiance Fields (NeRFs), they enabled new opportunities in 3D generation. However, most generative 3D approaches are object-centric and applying them to editing existing photorealistic scenes is not trivial. We propose SIGNeRF, a novel approach for fast and controllable NeRF scene editing and scene-integrated object generation. A new generative update strategy ensures 3D consistency across the edited images, without requiring iterative optimization. We find that depth-conditioned diffusion models inherently possess the capability to generate 3D consistent views by requesting a grid of images instead of single views. Based on these insights, we introduce a multi-view reference sheet of modified images. Our method updates an image collection consistently based on the reference sheet and refines the original NeRF with the newly generated image set in one go. By exploiting the depth conditioning mechanism of the image diffusion model, we gain fine control over the spatial location of the edit and enforce shape guidance by a selected region or an external mesh.
• Abstract（参考訳）: 画像拡散モデルの進歩は、最近、高品質な画像の生成において顕著な改善をもたらした。 ニューラル・レージアンス・フィールド(Neural Radiance Fields、NeRF)と組み合わせることで、彼らは3D生成の新しい機会を可能にした。 しかし、ほとんどの生成的3Dアプローチはオブジェクト指向であり、既存のフォトリアリスティックシーンの編集に適用することは簡単ではない。 高速かつ制御可能なNeRFシーン編集とシーン統合オブジェクト生成のための新しいアプローチであるSIGNeRFを提案する。 新しい生成的更新戦略により、反復的な最適化を必要とせずに、編集された画像全体の3D一貫性が保証される。 奥行き条件付き拡散モデルには、単一のビューではなく、画像のグリッドをリクエストすることで、本質的に3次元一貫したビューを生成する能力があることがわかった。 これらの知見に基づき、修正画像のマルチビュー参照シートを導入する。 提案手法は,参照シートに基づいて画像コレクションを一貫した更新を行い,新たに生成された画像セットを1行にすることで,元のNeRFを改良する。 画像拡散モデルの深度条件付け機構を利用して、編集の空間的位置を細かく制御し、選択した領域または外部メッシュによる形状誘導を強制する。

関連論文リスト

• Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
  単一画像の3次元操作を可能にする新しい画像編集手法を提案する。 本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。 提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
  論文  参考訳（メタデータ） (2024-03-18T06:18:59Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
  GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。 本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
  論文  参考訳（メタデータ） (2024-01-11T08:58:13Z)
• Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models [59.96172701917538]
  現在のニューラル・ラジアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューを生成することができる。 本稿ではInpaint4DNeRFを提案する。
  論文  参考訳（メタデータ） (2023-12-30T11:26:55Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields [2.458437232470188]
  ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。 ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
  論文  参考訳（メタデータ） (2023-06-05T09:41:51Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。