論文の概要: NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes

• arxiv url: http://arxiv.org/abs/2209.08776v3
• Date: Thu, 22 Sep 2022 05:40:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:24:06.454582
• Title: NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes
• Title（参考訳）: NeRF-SOS: 複雑な実世界シーンからの任意の視点で自己組織化されたオブジェクトセグメンテーション
• Authors: Zhiwen Fan, Peihao Wang, Yifan Jiang, Xinyu Gong, Dejia Xu, Zhangyang Wang
• Abstract要約: 本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
• 参考スコア（独自算出の注目度）: 80.59831861186227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural volumetric representations have shown the potential that Multi-layer Perceptrons (MLPs) can be optimized with multi-view calibrated images to represent scene geometry and appearance, without explicit 3D supervision. Object segmentation can enrich many downstream applications based on the learned radiance field. However, introducing hand-crafted segmentation to define regions of interest in a complex real-world scene is non-trivial and expensive as it acquires per view annotation. This paper carries out the exploration of self-supervised learning for object segmentation using NeRF for complex real-world scenes. Our framework, called NeRF with Self-supervised Object Segmentation NeRF-SOS, couples object segmentation and neural radiance field to segment objects in any view within a scene. By proposing a novel collaborative contrastive loss in both appearance and geometry levels, NeRF-SOS encourages NeRF models to distill compact geometry-aware segmentation clusters from their density fields and the self-supervised pre-trained 2D visual features. The self-supervised object segmentation framework can be applied to various NeRF models that both lead to photo-realistic rendering results and convincing segmentation maps for both indoor and outdoor scenarios. Extensive results on the LLFF, Tank & Temple, and BlendedMVS datasets validate the effectiveness of NeRF-SOS. It consistently surpasses other 2D-based self-supervised baselines and predicts finer semantics masks than existing supervised counterparts. Code is available at: https://github.com/VITA-Group/NeRF-SOS.
• Abstract（参考訳）: 神経容積表現は、マルチレイヤー・パーセプトロン(mlps)は、明示的な3次元の監督なしに、シーンの幾何学と外観を表現するためにマルチビュー・キャリブレーション画像で最適化できる可能性を示している。 オブジェクトのセグメンテーションは、学習したradianceフィールドに基づいて多くの下流アプリケーションを強化することができる。 しかし、複雑な現実世界のシーンにおける関心領域を定義するために手作りのセグメンテーションを導入することは、ビューアノテーション毎に取得するので、簡単でコストがかかる。 本稿では,複雑な現実世界のシーンに対するNeRFを用いた自己教師型学習の探索を行う。 我々のフレームワークであるNeRF with Self-supervised Object Segmentation NeRF-SOSは、オブジェクトのセグメンテーションとニューラルラディアンスフィールドを結合して、シーン内の任意のビューでオブジェクトをセグメンテーションする。 nerf-sosは、外観と幾何学の両方のレベルで新しい協調的なコントラスト損失を提案することで、コンパクトな幾何認識セグメンテーションクラスタを密度場と自己教師付き2次元視覚特徴から蒸留することを推奨する。 自己教師対象セグメンテーションフレームワークは、写真リアルなレンダリング結果と、屋内および屋外の両方のシナリオに対する説得力のあるセグメンテーションマップをもたらす様々なNeRFモデルに適用することができる。 LLFF, Tank & Temple, BlendedMVSデータセットの広範囲な結果は、NeRF-SOSの有効性を検証する。 他の2Dベースのセルフ教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。 コードは、https://github.com/VITA-Group/NeRF-SOSで入手できる。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• SANeRF-HQ: Segment Anything for NeRF in High Quality [61.77762568224097]
  本研究では,高品質な物体の高品質な3次元セグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。 我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
  論文  参考訳（メタデータ） (2023-12-03T23:09:38Z)
• Obj-NeRF: Extract Object NeRFs from Multi-view Images [7.669778218573394]
  単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインNeRFを提案する。 また、オブジェクトの除去、回転、置換、再色など、様々な用途に-NeRFを適用する。
  論文  参考訳（メタデータ） (2023-11-26T13:15:37Z)
• Interactive Segment Anything NeRF with Feature Imitation [20.972098365110426]
  我々は,NeRFを用いたゼロショットセマンティックセグメンテーションを実現するために,オフザシェルフ認識モデルのバックボーン特徴を模倣することを提案する。 本フレームワークは,意味的特徴を直接描画し,認識モデルからデコーダのみを適用することによって,セグメンテーションプロセスを再構築する。 さらに,学習したセマンティクスを抽出したメッシュ表面に投影することで,リアルタイムインタラクションを実現する。
  論文  参考訳（メタデータ） (2023-05-25T16:44:51Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。