論文の概要: SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2211.12254v1
• Date: Tue, 22 Nov 2022 13:14:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:20:53.822034
• Title: SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields
• Title（参考訳）: SPIn-NeRF:ニューラルラジアンス場を用いたマルチビューセグメンテーションと知覚的着色
• Authors: Ashkan Mirzaei, Tristan Aumentado-Armstrong, Konstantinos G. Derpanis, Jonathan Kelly, Marcus A. Brubaker, Igor Gilitschenski, Alex Levinshtein
• Abstract要約: 3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
• 参考スコア（独自算出の注目度）: 26.296017756560467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) have emerged as a popular approach for novel view synthesis. While NeRFs are quickly being adapted for a wider set of applications, intuitively editing NeRF scenes is still an open challenge. One important editing task is the removal of unwanted objects from a 3D scene, such that the replaced region is visually plausible and consistent with its context. We refer to this task as 3D inpainting. In 3D, solutions must be both consistent across multiple views and geometrically valid. In this paper, we propose a novel 3D inpainting method that addresses these challenges. Given a small set of posed images and sparse annotations in a single input image, our framework first rapidly obtains a 3D segmentation mask for a target object. Using the mask, a perceptual optimizationbased approach is then introduced that leverages learned 2D image inpainters, distilling their information into 3D space, while ensuring view consistency. We also address the lack of a diverse benchmark for evaluating 3D scene inpainting methods by introducing a dataset comprised of challenging real-world scenes. In particular, our dataset contains views of the same scene with and without a target object, enabling more principled benchmarking of the 3D inpainting task. We first demonstrate the superiority of our approach on multiview segmentation, comparing to NeRFbased methods and 2D segmentation approaches. We then evaluate on the task of 3D inpainting, establishing state-ofthe-art performance against other NeRF manipulation algorithms, as well as a strong 2D image inpainter baseline
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成の一般的なアプローチとして現れている。 NeRFは急速に幅広いアプリケーションに適応しつつあるが、直感的にNeRFシーンを編集することは依然としてオープンな課題である。 重要な編集作業の1つは、3dシーンから不要なオブジェクトを削除することである。 このタスクを3dインペインティングと呼びます。 3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 1つの入力画像に小さなポーズ画像とスパースアノテーションが与えられた場合、我々のフレームワークはまずターゲットオブジェクトの3Dセグメンテーションマスクを迅速に取得する。 マスクを用いて、学習した2D画像の塗り絵を利用して、情報を3D空間に抽出し、視界の整合性を確保しながら、知覚的最適化に基づくアプローチを導入する。 また,現実の難解なシーンからなるデータセットを導入することで,3Dシーンの塗装方法を評価するための多様なベンチマークの欠如にも対処する。 特に当社のデータセットには,ターゲットオブジェクトの有無に関わらず同じシーンのビューが含まれており,3dインペインティングタスクをより原則的にベンチマークすることが可能です。 まず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を示す。 次に,他のNeRF演算アルゴリズムに対する最先端性能の確立,および強力な2次元画像インペイントベースラインの3次元インペイントの課題について評価する。

関連論文リスト

• DiscoNeRF: Class-Agnostic Object Field for 3D Object Discovery [46.711276257688326]
  NeRFは複数の画像から3Dシーンをモデリングするための強力なツールになっている。 以前のNeRFの3Dセグメンテーションへのアプローチは、単一のオブジェクトを分離するためにユーザーインタラクションを必要とするか、あるいは監督のために限られた数のクラスを持つ2Dセマンティックマスクに依存している。 本稿では,一貫性のないセグメンテーションに頑健な手法を提案し,シーンを任意のクラスのオブジェクトの集合に分解することに成功した。
  論文  参考訳（メタデータ） (2024-08-19T12:07:24Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
  生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。 関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion [18.67196713834323]
  本稿では、2次元拡散モデルを学習された3次元シーン表現(例えば、NeRF)に蒸留することにより、マスク付き多視点画像を用いたシーンの3次元領域の塗装手法を提案する。 我々は,この2次元拡散モデルが,スコア蒸留サンプリングとNeRF再構成損失の組み合わせを用いてNeRFを最適化する3次元多視点再構成問題において,生成前のモデルとして機能することを示す。 提案手法は,任意の3次元マスキング領域を埋めるコンテンツを生成することができるため,3次元オブジェクト補完,3次元オブジェクト置換,3次元シーン補完も同時に行うことができる。
  論文  参考訳（メタデータ） (2023-12-06T19:30:04Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。