論文の概要: Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation

• arxiv url: http://arxiv.org/abs/2210.00489v1
• Date: Sun, 2 Oct 2022 11:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 15:34:55.857303
• Title: Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation
• Title（参考訳）: 放射電界伝搬を用いた教師なしマルチビューオブジェクトセグメンテーション
• Authors: Xinhang Liu, Jiaben Chen, Huai Yu, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
• 参考スコア（独自算出の注目度）: 55.9577535403381
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present radiance field propagation (RFP), a novel approach to segmenting objects in 3D during reconstruction given only unlabeled multi-view images of a scene. RFP is derived from emerging neural radiance field-based techniques, which jointly encodes semantics with appearance and geometry. The core of our method is a novel propagation strategy for individual objects' radiance fields with a bidirectional photometric loss, enabling an unsupervised partitioning of a scene into salient or meaningful regions corresponding to different object instances. To better handle complex scenes with multiple objects and occlusions, we further propose an iterative expectation-maximization algorithm to refine object masks. To the best of our knowledge, RFP is the first unsupervised approach for tackling 3D scene object segmentation for neural radiance field (NeRF) without any supervision, annotations, or other cues such as 3D bounding boxes and prior knowledge of object class. Experiments demonstrate that RFP achieves feasible segmentation results that are more accurate than previous unsupervised image/scene segmentation approaches, and are comparable to existing supervised NeRF-based methods. The segmented object representations enable individual 3D object editing operations.
• Abstract（参考訳）: 本研究では,シーンのラベルなしマルチビュー画像のみを付加した3次元画像分割手法であるradiance field propagation (rfp)を提案する。 RFPは、出現する神経放射場に基づく技術から派生し、外観と幾何学のセマンティクスを共同でエンコードする。 本手法の核心は,双方向光量損失を伴う個々の物体の放射場に対する新しい伝播戦略であり,異なる物体インスタンスに対応する有意義な領域へのシーンの教師なし分割を可能にする。 さらに,複数のオブジェクトやオクルージョンを持つ複雑なシーンをよりよく扱うために,オブジェクトマスクを洗練するための反復予測最大化アルゴリズムを提案する。 我々の知る限り、RFPは3D境界ボックスやオブジェクトクラスの事前知識など、いかなる監督、アノテーション、その他の手がかりも使わずに、ニューラルレイディアンスフィールド(NeRF)のための3Dシーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。 実験により、rfpは、従来の教師なし画像/シーンセグメンテーションアプローチよりも正確で、既存の教師付きnrfベースの方法に匹敵する、実現可能なセグメンテーション結果が得られることが示されている。 分割されたオブジェクト表現は、個々の3dオブジェクト編集操作を可能にする。

関連論文リスト

• Geometry Aware Field-to-field Transformations for 3D Semantic Segmentation [48.307734886370014]
  ニューラル・レージアンス・フィールド(NeRF)を利用した3次元セマンティック・セマンティック・セマンティック・セマンティック・セマンティクスの手法を提案する。 表面点雲に沿って特徴を抽出することにより,サンプル効率が高く3次元推論に導出しやすいシーンのコンパクトな表現を実現する。
  論文  参考訳（メタデータ） (2023-10-08T11:48:19Z)
• Implicit Ray-Transformers for Multi-view Remote Sensing Image Segmentation [26.726658200149544]
  スパースラベル付きRSシーンセマンティックセグメンテーションのためのインプリシティ・ニューラル表現(INR)に基づく「インプリシティ・レイ・トランスフォーマ(IRT)」を提案する。 提案手法は,2段階の学習プロセスを含む。第1段階では,リモートセンシングシーンの色と3次元構造を符号化するために,ニューラルネットワークを最適化する。 第2段階では、ニューラルネットワークの3D特徴と2Dテクスチャ特徴の関係を利用して、より優れた意味表現を学習するレイ変換器を設計する。
  論文  参考訳（メタデータ） (2023-03-15T07:05:07Z)
• DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
  サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。 マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
  論文  参考訳（メタデータ） (2022-12-15T14:18:47Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• Neural Volumetric Object Selection [126.04480613166194]
  マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。 提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
  論文  参考訳（メタデータ） (2022-05-30T08:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。