論文の概要: Obj-NeRF: Extract Object NeRFs from Multi-view Images

• arxiv url: http://arxiv.org/abs/2311.15291v1
• Date: Sun, 26 Nov 2023 13:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:35:44.869646
• Title: Obj-NeRF: Extract Object NeRFs from Multi-view Images
• Title（参考訳）: Obj-NeRF:多視点画像から物体のNeRFを抽出する
• Authors: Zhiyi Li, Lihe Ding, Tianfan Xue
• Abstract要約: 単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインNeRFを提案する。 また、オブジェクトの除去、回転、置換、再色など、様々な用途に-NeRFを適用する。
• 参考スコア（独自算出の注目度）: 7.669778218573394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) have demonstrated remarkable effectiveness in novel view synthesis within 3D environments. However, extracting a radiance field of one specific object from multi-view images encounters substantial challenges due to occlusion and background complexity, thereby presenting difficulties in downstream applications such as NeRF editing and 3D mesh extraction. To solve this problem, in this paper, we propose Obj-NeRF, a comprehensive pipeline that recovers the 3D geometry of a specific object from multi-view images using a single prompt. This method combines the 2D segmentation capabilities of the Segment Anything Model (SAM) in conjunction with the 3D reconstruction ability of NeRF. Specifically, we first obtain multi-view segmentation for the indicated object using SAM with a single prompt. Then, we use the segmentation images to supervise NeRF construction, integrating several effective techniques. Additionally, we construct a large object-level NeRF dataset containing diverse objects, which can be useful in various downstream tasks. To demonstrate the practicality of our method, we also apply Obj-NeRF to various applications, including object removal, rotation, replacement, and recoloring.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3次元環境における新しいビュー合成において顕著な効果を示した。 しかし,複数視点画像から特定の物体の放射能場を抽出することは,咬合や背景の複雑さからかなりの困難に直面するため,nerf編集や3dメッシュ抽出などの下流アプリケーションでは困難が伴う。 この問題を解決するため,本論文では,単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインであるObj-NeRFを提案する。 この手法は, セグメンテーションモデル(SAM)の2次元セグメンテーション能力とNeRFの3次元再構成能力を組み合わせたものである。 具体的には,指示対象の多視点セグメンテーションをSAMを用いて1つのプロンプトで取得する。 次に,このセグメンテーション画像を用いてNeRF構築を監督し,いくつかの効果的な手法を統合する。 さらに、様々なオブジェクトを含む大きなオブジェクトレベルのnerfデータセットを構築し、様々なダウンストリームタスクで役立ちます。 また,本手法の実用性を示すため,Obj-NeRFを物体除去,回転,置換,再色など様々な用途に適用する。

関連論文リスト

• LLaNA: Large Language and NeRF Assistant [17.774826745566784]
  我々は、NeRFキャプションなどの新しいタスクを実行することができる初の汎用NeRF言語アシスタントであるLLaNAを開発した。 我々は,人的介入を伴わないさまざまなNeRF言語タスクに対して,テキストアノテーションを用いたNeRFのデータセットを構築した。 その結果,NeRF重みの処理は,NeRFから2次元あるいは3次元の表現を抽出することに対して良好な効果が得られた。
  論文  参考訳（メタデータ） (2024-06-17T17:59:59Z)
• Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
  本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。 提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
  論文  参考訳（メタデータ） (2023-04-19T16:39:51Z)
• Instance Neural Radiance Field [62.152611795824185]
  本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。 我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。 また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
  論文  参考訳（メタデータ） (2023-04-10T05:49:24Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。