論文の概要: Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models

• arxiv url: http://arxiv.org/abs/2401.00208v1
• Date: Sat, 30 Dec 2023 11:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 18:31:16.034050
• Title: Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models
• Title（参考訳）: Inpaint4DNeRF: 生成拡散モデルによる持続的時空間NeRF Inpainting
• Authors: Han Jiang, Haosen Sun, Ruoxuan Li, Chi-Keung Tang, Yu-Wing Tai
• Abstract要約: 現在のニューラル・ラジアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューを生成することができる。 本稿ではInpaint4DNeRFを提案する。
• 参考スコア（独自算出の注目度）: 59.96172701917538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current Neural Radiance Fields (NeRF) can generate photorealistic novel views. For editing 3D scenes represented by NeRF, with the advent of generative models, this paper proposes Inpaint4DNeRF to capitalize on state-of-the-art stable diffusion models (e.g., ControlNet) for direct generation of the underlying completed background content, regardless of static or dynamic. The key advantages of this generative approach for NeRF inpainting are twofold. First, after rough mask propagation, to complete or fill in previously occluded content, we can individually generate a small subset of completed images with plausible content, called seed images, from which simple 3D geometry proxies can be derived. Second and the remaining problem is thus 3D multiview consistency among all completed images, now guided by the seed images and their 3D proxies. Without other bells and whistles, our generative Inpaint4DNeRF baseline framework is general which can be readily extended to 4D dynamic NeRFs, where temporal consistency can be naturally handled in a similar way as our multiview consistency.
• Abstract（参考訳）: 現在のニューラル・ラジアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューを生成することができる。 生成モデルの出現とともに,NeRFで表現される3Dシーンを編集するために,静的・動的に関わらず,基礎となる背景コンテンツを直接生成するための最先端の安定拡散モデル(ControlNetなど)を活用するために,Inpaint4DNeRFを提案する。 この生成的アプローチのNeRF塗布の利点は2つある。 まず, 粗面伝播の後に, 予め隠されたコンテンツを完成させたり埋めたりするために, シード画像と呼ばれる, 簡素な3次元形状のプロキシを導出可能な, 妥当な内容の完成画像の小さなサブセットを個々に生成することができる。 第二に、残りの問題は完成した画像の3dマルチビュー一貫性であり、現在はシード画像とその3dプロキシに導かれている。 他のベルやホイッスルがなければ、当社の生成型inpaint4dnerfベースラインフレームワークは一般的に、4dダイナミックなnerfに簡単に拡張することができます。

関連論文リスト

• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SIGNeRF: Scene Integrated Generation for Neural Radiance Fields [1.1037667460077816]
  高速かつ制御可能なNeRFシーン編集とシーン統合オブジェクト生成のための新しいアプローチを提案する。 新しい生成的更新戦略により、反復的な最適化を必要とせずに、編集された画像全体の3D一貫性が保証される。 画像拡散モデルの奥行き条件付け機構を利用して,編集の空間的位置を細かく制御する。
  論文  参考訳（メタデータ） (2024-01-03T09:46:43Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields [2.458437232470188]
  ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。 ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
  論文  参考訳（メタデータ） (2023-06-05T09:41:51Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• TextMesh: Generation of Realistic 3D Meshes From Text Prompts [56.2832907275291]
  リアルな3Dメッシュを生成するための新しい手法を提案する。 この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
  論文  参考訳（メタデータ） (2023-04-24T20:29:41Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors [24.05480789681139]
  本研究では,2次元拡散モデルから一般的な画像の事前処理が可能な単一視点NeRF合成フレームワークNeRDiを提案する。 市販の視覚言語モデルを活用し、拡散モデルに条件付け入力として2節言語ガイダンスを導入する。 In-the-wild画像に対するゼロショットNeRF合成における一般化可能性も示す。
  論文  参考訳（メタデータ） (2022-12-06T19:00:07Z)
• Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures [72.44361273600207]
  我々は, スコア蒸留を, 一般に利用可能な, 計算効率の良い遅延拡散モデルに適用する。 潜在拡散モデルは、事前訓練された自己エンコーダのコンパクト潜在空間に全拡散過程を適用する。 これらの結果から, 3次元メッシュに直接, 潜在スコア蒸留を適用できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-14T18:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。