論文の概要: Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting

• arxiv url: http://arxiv.org/abs/2304.03763v2
• Date: Fri, 1 Sep 2023 15:22:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 16:49:53.184925
• Title: Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting
• Title（参考訳）: 立体インペインティングによる3次元シーンのクラッタ検出と除去
• Authors: Fangyin Wei, Thomas Funkhouser, Szymon Rusinkiewicz
• Abstract要約: 本稿では,3次元のシーンやインペイントの粗さをコヒーレントな形状とテクスチャで除去するシステムを提案する。 ノイズの多いラベルをグループ化し、仮想レンダリングを活用し、インスタンスレベルの領域依存的な損失を課します。 ScanNetとMatterportのデータセットを用いた実験により,本手法はクラッタセグメンテーションと3Dインパインティングのベースラインよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 10.087325516269265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Removing clutter from scenes is essential in many applications, ranging from privacy-concerned content filtering to data augmentation. In this work, we present an automatic system that removes clutter from 3D scenes and inpaints with coherent geometry and texture. We propose techniques for its two key components: 3D segmentation from shared properties and 3D inpainting, both of which are important problems. The definition of 3D scene clutter (frequently-moving objects) is not well captured by commonly-studied object categories in computer vision. To tackle the lack of well-defined clutter annotations, we group noisy fine-grained labels, leverage virtual rendering, and impose an instance-level area-sensitive loss. Once clutter is removed, we inpaint geometry and texture in the resulting holes by merging inpainted RGB-D images. This requires novel voting and pruning strategies that guarantee multi-view consistency across individually inpainted images for mesh reconstruction. Experiments on ScanNet and Matterport dataset show that our method outperforms baselines for clutter segmentation and 3D inpainting, both visually and quantitatively.
• Abstract（参考訳）: プライバシーに配慮したコンテンツフィルタリングからデータ拡張まで、多くのアプリケーションでシーンからクラッターを取り除くことは不可欠である。 本研究では,コヒーレントな形状とテクスチャを持つ3次元シーンやインペアからクラッタを除去する自動システムを提案する。 本稿では,共有プロパティからの3次元セグメンテーションと3次元インペインティングという2つの重要なコンポーネントの手法を提案する。 3dシーンクラッター (frequently-moving objects) の定義は、コンピュータビジョンにおける一般的な研究対象のカテゴリではうまく捉えられていない。 明確に定義されたクラッタアノテーションの欠如に対処するため、ノイズの多いきめ細かなラベルをグループ化し、仮想レンダリングを活用し、インスタンスレベルのエリアセンシティブな損失を課します。 クラッタを除去すると、塗装されたRGB-D画像をマージすることで、穴の形状やテクスチャを塗布する。 これは、メッシュ再構築のために、個別に塗られたイメージ間のマルチビュー一貫性を保証する、新しい投票とプルーニング戦略を必要とする。 また,scannetとmatterportデータセットを用いた実験により,クラッタセグメンテーションと3次元インパインティングのベースラインを視覚的および定量的に上回った。

関連論文リスト

• MVInpainter: Learning Multi-View Consistent Inpainting to Bridge 2D and 3D Editing [90.30646271720919]
  新規ビュー合成(NVS)と3D生成は、最近顕著に改善されている。 我々はMVInpainterを提案し、3D編集を多視点2Dインペインティングタスクとして再フォーマットする。 MVInpainterは、スクラッチから完全に新しいビューを生成するのではなく、参照ガイダンスで複数のビューイメージを部分的に描き込む。
  論文  参考訳（メタデータ） (2024-08-15T07:57:28Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
  生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。 関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。