論文の概要: SANeRF-HQ: Segment Anything for NeRF in High Quality
- arxiv url: http://arxiv.org/abs/2312.01531v1
- Date: Sun, 3 Dec 2023 23:09:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:59:49.424927
- Title: SANeRF-HQ: Segment Anything for NeRF in High Quality
- Title(参考訳): SANeRF-HQ: 高品質なNeRF用セグメンテーション
- Authors: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai
- Abstract要約: シーン内の物体の高品質な3Dセグメンテーションを実現するために, 高品質のNeRF用セグメンテーション(SANeRF-HQ)を導入する。
我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
- 参考スコア(独自算出の注目度): 67.48761798347905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the Segment Anything Model (SAM) has showcased remarkable
capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has
gained popularity as a method for various 3D problems beyond novel view
synthesis. Though there exist initial attempts to incorporate these two methods
into 3D segmentation, they face the challenge of accurately and consistently
segmenting objects in complex scenarios. In this paper, we introduce the
Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality
3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for
open-world object segmentation guided by user-supplied prompts, while
leveraging NeRF to aggregate information from different viewpoints. To overcome
the aforementioned challenges, we employ density field and RGB similarity to
enhance the accuracy of segmentation boundary during the aggregation.
Emphasizing on segmentation accuracy, we evaluate our method quantitatively on
multiple NeRF datasets where high-quality ground-truths are available or
manually annotated. SANeRF-HQ shows a significant quality improvement over
previous state-of-the-art methods in NeRF object segmentation, provides higher
flexibility for object localization, and enables more consistent object
segmentation across multiple views. Additional information can be found at
https://lyclyc52.github.io/SANeRF-HQ/.
- Abstract(参考訳): 近年,セグメンテーションモデル (SAM) はゼロショットセグメンテーションの顕著な能力を示し,NeRF (Neural Radiance Fields) は新規なビュー合成以上の様々な3次元問題の解法として人気を集めている。
これらの2つの手法を3Dセグメンテーションに組み込む試みは、当初はあったが、複雑なシナリオでオブジェクトを正確に一貫したセグメンテーションするという課題に直面している。
本稿では,高品質なシーンの高品質な3Dセグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。
SANeRF-HQはSAMをユーザからのプロンプトによって誘導されるオープンワールドオブジェクトセグメンテーションに利用し、NeRFを利用して異なる視点から情報を収集する。
上記の課題を克服するために、集約中のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
セグメンテーションの精度を重視し,高品質な接地構造が利用可能あるいは手動でアノテートされた複数のNeRFデータセット上で定量的に評価を行った。
SANeRF-HQは、NeRFオブジェクトセグメンテーションにおける従来の最先端メソッドよりも大幅な品質向上を示し、オブジェクトローカライゼーションの柔軟性を高め、複数のビューにまたがるより一貫性のあるオブジェクトセグメンテーションを可能にする。
詳細はhttps://lyclyc52.github.io/SANeRF-HQ/で確認できる。
関連論文リスト
- Obj-NeRF: Extract Object NeRFs from Multi-view Images [7.669778218573394]
単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインNeRFを提案する。
また、オブジェクトの除去、回転、置換、再色など、様々な用途に-NeRFを適用する。
論文 参考訳(メタデータ) (2023-11-26T13:15:37Z) - GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene
Understanding [105.69002990314864]
Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。
本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
論文 参考訳(メタデータ) (2023-11-20T15:59:41Z) - Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。
ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。
提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-17T11:30:46Z) - Instance Neural Radiance Field [62.152611795824185]
本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。
我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。
また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
論文 参考訳(メタデータ) (2023-04-10T05:49:24Z) - Interactive Segmentation of Radiance Fields [7.9020917073764405]
個人空間における混合現実は、RFとして表されるシーンを理解し、操作する必要がある。
オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
論文 参考訳(メタデータ) (2022-12-27T16:33:19Z) - SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。
SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。
SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
論文 参考訳(メタデータ) (2022-11-21T07:16:03Z) - NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex
Real-World Scenes [80.59831861186227]
本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。
我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。
他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
論文 参考訳(メタデータ) (2022-09-19T06:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。