論文の概要: NeRFiller: Completing Scenes via Generative 3D Inpainting

• arxiv url: http://arxiv.org/abs/2312.04560v1
• Date: Thu, 7 Dec 2023 18:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 13:22:01.900947
• Title: NeRFiller: Completing Scenes via Generative 3D Inpainting
• Title（参考訳）: NeRFiller:3Dインペインティングによるシーンの編集
• Authors: Ethan Weber and Aleksander Ho{\l}y\'nski and Varun Jampani and Saurabh Saxena and Noah Snavely and Abhishek Kar and Angjoo Kanazawa
• Abstract要約: 生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。 関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
• 参考スコア（独自算出の注目度）: 113.18181179986172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose NeRFiller, an approach that completes missing portions of a 3D capture via generative 3D inpainting using off-the-shelf 2D visual generative models. Often parts of a captured 3D scene or object are missing due to mesh reconstruction failures or a lack of observations (e.g., contact regions, such as the bottom of objects, or hard-to-reach areas). We approach this challenging 3D inpainting problem by leveraging a 2D inpainting diffusion model. We identify a surprising behavior of these models, where they generate more 3D consistent inpaints when images form a 2$\times$2 grid, and show how to generalize this behavior to more than four images. We then present an iterative framework to distill these inpainted regions into a single consistent 3D scene. In contrast to related works, we focus on completing scenes rather than deleting foreground objects, and our approach does not require tight 2D object masks or text. We compare our approach to relevant baselines adapted to our setting on a variety of scenes, where NeRFiller creates the most 3D consistent and plausible scene completions. Our project page is at https://ethanweber.me/nerfiller.
• Abstract（参考訳）: 我々は,市販の2次元視覚生成モデルを用いて,3D画像の欠落部分を3Dインペインティングで補う手法であるNeRFillerを提案する。 キャプチャされた3Dシーンやオブジェクトの部分は、メッシュ再構築の失敗や観察の欠如(例えば、オブジェクトの底のような接触領域や、到達困難な領域)のために欠落することが多い。 2次元インパインティング拡散モデルを用いて,この難解な3次元インパインティング問題にアプローチする。 画像が2$\times$2のグリッドを形成すると、これらのモデルの驚くべき振る舞いを特定し、この動作を4つ以上の画像に一般化する方法を示します。 次に、これらの塗装された領域を単一の一貫した3dシーンに蒸留する反復的なフレームワークを示す。 関連作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完了に焦点を合わせており、我々のアプローチでは、厳密な2Dオブジェクトマスクやテキストは必要としない。 我々は、NeRFillerが最も立体的に整合性のあるシーンを再現する、さまざまなシーンの設定に適合するベースラインに対して、我々のアプローチを比較した。 私たちのプロジェクトページはhttps://ethanweber.me/nerfillerにあります。

関連論文リスト

• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion [18.67196713834323]
  本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。 我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。 提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
  論文  参考訳（メタデータ） (2023-12-06T19:30:04Z)
• LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes [52.31402192831474]
  しかし、既存の3Dシーン生成モデルは、ターゲットシーンを特定のドメインに制限する。 ドメインフリーシーン生成パイプラインであるLucidDreamerを提案する。 LucidDreamerは、ターゲットシーンのドメインに制約がなく、高詳細なガウススプラットを生成する。
  論文  参考訳（メタデータ） (2023-11-22T13:27:34Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting [10.087325516269265]
  本稿では,3次元のシーンやインペイントの粗さをコヒーレントな形状とテクスチャで除去するシステムを提案する。 ノイズの多いラベルをグループ化し、仮想レンダリングを活用し、インスタンスレベルの領域依存的な損失を課します。 ScanNetとMatterportのデータセットを用いた実験により,本手法はクラッタセグメンテーションと3Dインパインティングのベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T17:57:20Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)
• Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
  本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。 グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-07-24T19:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。