論文の概要: OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2305.10503v3
• Date: Fri, 29 Sep 2023 02:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 18:59:12.449719
• Title: OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields
• Title（参考訳）: OR-NeRF:ニューラルラジアンス場を用いたマルチビューセグメンテーションによる3次元シーンからの物体除去
• Authors: Youtan Yin, Zhoujie Fu, Fan Yang, Guosheng Lin
• Abstract要約: ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 53.32527220134249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of Neural Radiance Fields (NeRF) for novel view synthesis has increased interest in 3D scene editing. An essential task in editing is removing objects from a scene while ensuring visual reasonability and multiview consistency. However, current methods face challenges such as time-consuming object labeling, limited capability to remove specific targets, and compromised rendering quality after removal. This paper proposes a novel object-removing pipeline, named OR-NeRF, that can remove objects from 3D scenes with user-given points or text prompts on a single view, achieving better performance in less time than previous works. Our method spreads user annotations to all views through 3D geometry and sparse correspondence, ensuring 3D consistency with less processing burden. Then recent 2D segmentation model Segment-Anything (SAM) is applied to predict masks, and a 2D inpainting model is used to generate color supervision. Finally, our algorithm applies depth supervision and perceptual loss to maintain consistency in geometry and appearance after object removal. Experimental results demonstrate that our method achieves better editing quality with less time than previous works, considering both quality and quantity.
• Abstract（参考訳）: ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 編集における重要なタスクは、視覚的合理的性とマルチビューの一貫性を確保しながら、シーンからオブジェクトを取り除くことである。 しかし、現在のメソッドは、時間を要するオブジェクトラベリング、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の低下といった課題に直面している。 本稿では,従来よりも少ない時間で,ユーザ登録ポイントやテキストプロンプトで3dシーンからオブジェクトを削除できる,新たなオブジェクト削除パイプラインor-nerfを提案する。 提案手法は, ユーザアノテーションを3次元幾何と疎対応により全ビューに展開し, 処理負担の軽減を図る。 次に,近年の2次元セグメンテーションモデルsegment-anything (sam) を用いてマスクの予測を行い,2次元インパインティングモデルを用いてカラー監督を行う。 最後に, 物体除去後の形状と外観の整合性を維持するために, 奥行き監視と知覚損失を適用した。 実験結果から,本手法は品質と量の両方を考慮して,従来よりも少ない時間で編集品質を向上することが示された。

関連論文リスト

• DiscoNeRF: Class-Agnostic Object Field for 3D Object Discovery [46.711276257688326]
  NeRFは複数の画像から3Dシーンをモデリングするための強力なツールになっている。 以前のNeRFの3Dセグメンテーションへのアプローチは、単一のオブジェクトを分離するためにユーザーインタラクションを必要とするか、あるいは監督のために限られた数のクラスを持つ2Dセマンティックマスクに依存している。 本稿では,一貫性のないセグメンテーションに頑健な手法を提案し,シーンを任意のクラスのオブジェクトの集合に分解することに成功した。
  論文  参考訳（メタデータ） (2024-08-19T12:07:24Z)
• ObjectCarver: Semi-automatic segmentation, reconstruction and separation of 3D objects [44.38881095466177]
  複数の画像から3次元表面を再構成する際、暗黙の神経磁場は顕著な進歩を遂げた。 これまでの研究は、署名された距離フィールドを個別に訓練するフレームワークを導入して、この問題に対処しようと試みてきた。 一つのビューで単に入力をクリックすることからオブジェクト分離の問題に取り組むために、ObjectCarverというメソッドを導入します。
  論文  参考訳（メタデータ） (2024-07-26T22:13:20Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects [115.71874459429381]
  本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。 従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
  論文  参考訳（メタデータ） (2021-06-16T13:18:08Z)
• Differentiable Rendering: A Survey [22.35293459579154]
  微分レンダリングは、画像を通して3Dオブジェクトの勾配を計算し伝播させる新しい分野である。 本稿では、既存の文献をレビューし、差別化可能なレンダリングの現状と応用、オープンな研究課題について論じる。
  論文  参考訳（メタデータ） (2020-06-22T08:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。