論文の概要: Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion

• arxiv url: http://arxiv.org/abs/2312.03869v1
• Date: Wed, 6 Dec 2023 19:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:05:31.040592
• Title: Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion
• Title（参考訳）: Inpaint3D:2D Inpainting Diffusionを用いた3次元シーンコンテンツ生成
• Authors: Kira Prabhu, Jane Wu, Lynn Tsai, Peter Hedman, Dan B Goldman, Ben Poole, Michael Broxton
• Abstract要約: 本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。 我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。 提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
• 参考スコア（独自算出の注目度）: 18.67196713834323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel approach to inpainting 3D regions of a scene, given masked multi-view images, by distilling a 2D diffusion model into a learned 3D scene representation (e.g. a NeRF). Unlike 3D generative methods that explicitly condition the diffusion model on camera pose or multi-view information, our diffusion model is conditioned only on a single masked 2D image. Nevertheless, we show that this 2D diffusion model can still serve as a generative prior in a 3D multi-view reconstruction problem where we optimize a NeRF using a combination of score distillation sampling and NeRF reconstruction losses. Predicted depth is used as additional supervision to encourage accurate geometry. We compare our approach to 3D inpainting methods that focus on object removal. Because our method can generate content to fill any 3D masked region, we additionally demonstrate 3D object completion, 3D object replacement, and 3D scene completion.
• Abstract（参考訳）: 本稿では,2次元拡散モデルを学習した3次元シーン表現(例えば,nerf)に蒸留することにより,シーンの3次元領域にマスキングされたマルチビュー画像を与える新しいアプローチを提案する。 カメラのポーズやマルチビュー情報の拡散モデルを明示的に条件付けする3次元生成法とは異なり、拡散モデルは1つのマスク付き2d画像のみに条件付けされる。 しかしながら, この2次元拡散モデルは, スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において, 生成前のモデルとして機能することを示す。 予測深度は正確な幾何学を奨励するために追加の監督として使用される。 オブジェクトの除去に焦点を当てた3Dインペイント手法との比較を行った。 提案手法は,任意の3次元マスク領域を埋めるコンテンツを生成することができるため,さらに3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完を実証する。

関連論文リスト

• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes [86.26588382747184]
  InseRFは3次元シーンのNeRF再構成において生成物挿入のための新しい手法である。 ユーザが提供するテキスト記述と参照視点での2Dバウンディングボックスに基づいて、InseRFは3Dシーンで新しいオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-01-10T18:59:53Z)
• NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
  生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。 関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• 3D-aware Blending with Generative NeRFs [41.10514446851655]
  生成型ニューラルレージアンスフィールド(NeRF)を用いた3次元ブレンディング法を提案する。 3D対応アライメントでは、まず、生成したNeRFに対して参照画像のカメラポーズを推定し、各部分に対して3D局所アライメントを行う。 生成したNeRFの3D情報をさらに活用するために,原画素空間ではなく,NeRFの潜在表現空間上で直接画像をブレンドする3D対応ブレンディングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:59:52Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。