論文の概要: View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields

• arxiv url: http://arxiv.org/abs/2405.19678v2
• Date: Thu, 18 Jul 2024 02:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 20:42:05.674486
• Title: View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields
• Title（参考訳）: 超音速特徴場を用いたビュー一貫性階層型3次元セグメンテーション
• Authors: Haodi He, Colton Stearns, Adam W. Harley, Leonidas J. Guibas,
• Abstract要約: 我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
• 参考スコア（独自算出の注目度）: 52.08335264414515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale vision foundation models such as Segment Anything (SAM) demonstrate impressive performance in zero-shot image segmentation at multiple levels of granularity. However, these zero-shot predictions are rarely 3D-consistent. As the camera viewpoint changes in a scene, so do the segmentation predictions, as well as the characterizations of "coarse" or "fine" granularity. In this work, we address the challenging task of lifting multi-granular and view-inconsistent image segmentations into a hierarchical and 3D-consistent representation. We learn a novel feature field within a Neural Radiance Field (NeRF) representing a 3D scene, whose segmentation structure can be revealed at different scales by simply using different thresholds on feature distance. Our key idea is to learn an ultrametric feature space, which unlike a Euclidean space, exhibits transitivity in distance-based grouping, naturally leading to a hierarchical clustering. Put together, our method takes view-inconsistent multi-granularity 2D segmentations as input and produces a hierarchy of 3D-consistent segmentations as output. We evaluate our method and several baselines on synthetic datasets with multi-view images and multi-granular segmentation, showcasing improved accuracy and viewpoint-consistency. We additionally provide qualitative examples of our model's 3D hierarchical segmentations in real world scenes. The code and dataset are available at https://github.com/hardyho/ultrametric_feature_fields
• Abstract（参考訳）: Segment Anything (SAM)のような大規模ビジョン基盤モデルは、ゼロショット画像のセグメンテーションにおいて、複数のレベルの粒度で印象的な性能を示す。 しかし、これらのゼロショット予測は3D一貫性がほとんどない。 カメラの視点がシーンに変化するにつれて、セグメンテーション予測や"粗い"や"細かい"粒度のキャラクタリゼーションも変化する。 本研究では,階層的かつ3D一貫性の表現に多粒性およびビュー非一貫性のイメージセグメンテーションを持ち上げるという課題に対処する。 我々は、特徴距離の異なるしきい値を用いることで、分割構造を異なるスケールで明らかにできる3次元シーンを表すニューラルレージアンス場(NeRF)内の新しい特徴場を学習する。 私たちのキーとなる考え方は、ユークリッド空間とは異なり、距離に基づくグループ化において推移性を示し、自然に階層的クラスタリングにつながる超測度特徴空間を学習することである。 提案手法は、ビュー一貫性のない多粒性2Dセグメンテーションを入力とし、出力として3D一貫性セグメンテーションの階層を生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。 さらに、実世界のシーンにおけるモデルの3次元階層的セグメンテーションの定性的な例を示す。 コードとデータセットはhttps://github.com/hardyho/ultrametric_feature_fieldsで公開されている。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• OmniSeg3D: Omniversal 3D Segmentation via Hierarchical Contrastive Learning [31.234212614311424]
  OmniSeg3Dは,すべてのものを同時に3Dでセグメント化するための全次元セグメント化手法である。 不整合な2Dセグメンテーションによって引き起こされる課題に対処するため、このフレームワークはグローバルな一貫した3D機能フィールドを生み出す。 提案手法が高品質な3次元セグメンテーションと正確な階層構造理解に与える影響を実験により実証した。
  論文  参考訳（メタデータ） (2023-11-20T11:04:59Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• PanDepth: Joint Panoptic Segmentation and Depth Completion [19.642115764441016]
  本稿では,RGB画像とスパース深度マップを用いたマルチタスクモデルを提案する。 本モデルでは,完全な深度マップの予測に成功し,各入力フレームに対してセマンティックセグメンテーション,インスタンスセグメンテーション,パノプティックセグメンテーションを行う。
  論文  参考訳（メタデータ） (2022-12-29T05:37:38Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• 3D Instance Segmentation of MVS Buildings [5.2517244720510305]
  本稿では,多視点ステレオ(MVS)都市シーンから3次元建物をセグメント化するための新しい枠組みを提案する。 この研究の重点は、大型で不正確な3D表面モデルに取り付けられたとしても、3Dビルディングインスタンスを検出し、セグメンテーションすることにある。
  論文  参考訳（メタデータ） (2021-12-18T11:12:38Z)
• Learning Hyperbolic Representations for Unsupervised 3D Segmentation [3.516233423854171]
  本稿では,双曲型潜在空間を持つ変分オートエンコーダ(VAE)とジャイロプレーン畳み込み層を用いて,教師なしセグメンテーションのための3次元パッチの効果的表現を提案する。 階層型トイデータセット,BraTS全腫瘍データセット,低温電子顕微鏡データを用いた非教師なし3次元セグメンテーションにおけるハイパーボリック表現の有効性を実証した。
  論文  参考訳（メタデータ） (2020-12-03T02:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。