論文の概要: SANeRF-HQ: Segment Anything for NeRF in High Quality

• arxiv url: http://arxiv.org/abs/2312.01531v1
• Date: Sun, 3 Dec 2023 23:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 16:59:49.424927
• Title: SANeRF-HQ: Segment Anything for NeRF in High Quality
• Title（参考訳）: SANeRF-HQ: 高品質なNeRF用セグメンテーション
• Authors: Yichen Liu, Benran Hu, Chi-Keung Tang, Yu-Wing Tai
• Abstract要約: シーン内の物体の高品質な3Dセグメンテーションを実現するために, 高品質のNeRF用セグメンテーション(SANeRF-HQ)を導入する。 我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
• 参考スコア（独自算出の注目度）: 67.48761798347905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the Segment Anything Model (SAM) has showcased remarkable capabilities of zero-shot segmentation, while NeRF (Neural Radiance Fields) has gained popularity as a method for various 3D problems beyond novel view synthesis. Though there exist initial attempts to incorporate these two methods into 3D segmentation, they face the challenge of accurately and consistently segmenting objects in complex scenarios. In this paper, we introduce the Segment Anything for NeRF in High Quality (SANeRF-HQ) to achieve high quality 3D segmentation of any object in a given scene. SANeRF-HQ utilizes SAM for open-world object segmentation guided by user-supplied prompts, while leveraging NeRF to aggregate information from different viewpoints. To overcome the aforementioned challenges, we employ density field and RGB similarity to enhance the accuracy of segmentation boundary during the aggregation. Emphasizing on segmentation accuracy, we evaluate our method quantitatively on multiple NeRF datasets where high-quality ground-truths are available or manually annotated. SANeRF-HQ shows a significant quality improvement over previous state-of-the-art methods in NeRF object segmentation, provides higher flexibility for object localization, and enables more consistent object segmentation across multiple views. Additional information can be found at https://lyclyc52.github.io/SANeRF-HQ/.
• Abstract（参考訳）: 近年,セグメンテーションモデル (SAM) はゼロショットセグメンテーションの顕著な能力を示し,NeRF (Neural Radiance Fields) は新規なビュー合成以上の様々な3次元問題の解法として人気を集めている。 これらの2つの手法を3Dセグメンテーションに組み込む試みは、当初はあったが、複雑なシナリオでオブジェクトを正確に一貫したセグメンテーションするという課題に直面している。 本稿では,高品質なシーンの高品質な3Dセグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。 SANeRF-HQはSAMをユーザからのプロンプトによって誘導されるオープンワールドオブジェクトセグメンテーションに利用し、NeRFを利用して異なる視点から情報を収集する。 上記の課題を克服するために、集約中のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。 セグメンテーションの精度を重視し,高品質な接地構造が利用可能あるいは手動でアノテートされた複数のNeRFデータセット上で定量的に評価を行った。 SANeRF-HQは、NeRFオブジェクトセグメンテーションにおける従来の最先端メソッドよりも大幅な品質向上を示し、オブジェクトローカライゼーションの柔軟性を高め、複数のビューにまたがるより一貫性のあるオブジェクトセグメンテーションを可能にする。 詳細はhttps://lyclyc52.github.io/SANeRF-HQ/で確認できる。

関連論文リスト

• Explicit-NeRF-QA: A Quality Assessment Database for Explicit NeRF Model Compression [10.469092315640696]
  我々は、NeRF圧縮研究の課題に対処するため、Explicit-NeRF-QAと呼ばれる新しいデータセットを構築した。 4つの典型的なNeRFモデルをトレーニングするために,22個の3Dオブジェクトを多様なジオメトリ,テクスチャ,材料複雑度で使用しています。 実験室環境における主観的な実験を行い、21人の視聴者から主観的なスコアを収集する。
  論文  参考訳（メタデータ） (2024-07-11T04:02:05Z)
• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects [7.529049797077149]
  市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。 NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。 提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
  論文  参考訳（メタデータ） (2024-03-28T17:28:32Z)
• Obj-NeRF: Extract Object NeRFs from Multi-view Images [7.669778218573394]
  単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインNeRFを提案する。 また、オブジェクトの除去、回転、置換、再色など、様々な用途に-NeRFを適用する。
  論文  参考訳（メタデータ） (2023-11-26T13:15:37Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Instance Neural Radiance Field [62.152611795824185]
  本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。 我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。 また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
  論文  参考訳（メタデータ） (2023-04-10T05:49:24Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。