論文の概要: SANeRF-HQ: Segment Anything for NeRF in High Quality
- arxiv url: http://arxiv.org/abs/2312.01531v2
- Date: Sat, 6 Apr 2024 07:04:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 02:06:00.411263
- Title: SANeRF-HQ: Segment Anything for NeRF in High Quality
- Title(参考訳): SANeRF-HQ: 高品質なNeRF用セグメンテーション
- Authors: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai,
- Abstract要約: 本研究では,高品質な物体の高品質な3次元セグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。
我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
- 参考スコア(独自算出の注目度): 61.77762568224097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high-quality 3D segmentation of any target object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Results and code are available at the project site: https://lyclyc52.github.io/SANeRF-HQ/.
- Abstract(参考訳): 近年,セグメンテーションモデル (SAM) はゼロショットセグメンテーションの顕著な能力を示し,NeRF (Neural Radiance Fields) は新規なビュー合成以上の様々な3次元問題の解法として人気を集めている。
これらの2つの手法を3Dセグメンテーションに組み込む試みは、当初はあったが、複雑なシナリオでオブジェクトを正確に一貫したセグメンテーションするという課題に直面している。
本稿では,特定のシーンにおける対象物の高品質な3Dセグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。
SANeRF-HQはSAMをユーザからのプロンプトによって誘導されるオープンワールドのオブジェクトセグメンテーションに利用し、NeRFを利用して異なる視点から情報を収集する。
上記の課題を克服するために、集約中のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
セグメンテーションの精度を重視し,高品質な接地構造が利用できる,あるいは手動でアノテートされた複数のNeRFデータセット上で評価を行った。
SANeRF-HQは、NeRFオブジェクトセグメンテーションにおける最先端メソッドよりも大幅な品質向上を示し、オブジェクトローカライゼーションの柔軟性を高め、複数のビューにまたがるより一貫性のあるオブジェクトセグメンテーションを可能にする。
結果とコードはプロジェクトのサイト(https://lyclyc52.github.io/SANeRF-HQ/)で公開されている。
関連論文リスト
- SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects [7.529049797077149]
市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。
NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。
提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
論文 参考訳(メタデータ) (2024-03-28T17:28:32Z) - Segment Anything in 3D Gaussians [69.68566640585671]
ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - Obj-NeRF: Extract Object NeRFs from Multi-view Images [7.669778218573394]
単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインNeRFを提案する。
また、オブジェクトの除去、回転、置換、再色など、様々な用途に-NeRFを適用する。
論文 参考訳(メタデータ) (2023-11-26T13:15:37Z) - GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。
本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
論文 参考訳(メタデータ) (2023-11-20T15:59:41Z) - Instance Neural Radiance Field [62.152611795824185]
本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。
我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。
また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
論文 参考訳(メタデータ) (2023-04-10T05:49:24Z) - Interactive Segmentation of Radiance Fields [7.9020917073764405]
個人空間における混合現実は、RFとして表されるシーンを理解し、操作する必要がある。
オブジェクトを細かな構造と外観で対話的に分割するISRF法を提案する。
論文 参考訳(メタデータ) (2022-12-27T16:33:19Z) - SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。
SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。
SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
論文 参考訳(メタデータ) (2022-11-21T07:16:03Z) - NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex
Real-World Scenes [80.59831861186227]
本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。
我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。
他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
論文 参考訳(メタデータ) (2022-09-19T06:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。