論文の概要: OmniSeg3D: Omniversal 3D Segmentation via Hierarchical Contrastive Learning

• arxiv url: http://arxiv.org/abs/2311.11666v1
• Date: Mon, 20 Nov 2023 11:04:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 19:19:11.052066
• Title: OmniSeg3D: Omniversal 3D Segmentation via Hierarchical Contrastive Learning
• Title（参考訳）: OmniSeg3D:階層的コントラスト学習によるOmniversal 3Dセグメンテーション
• Authors: Haiyang Ying, Yixuan Yin, Jinzhi Zhang, Fan Wang, Tao Yu, Ruqi Huang, Lu Fang
• Abstract要約: OmniSeg3Dは,すべてのものを同時に3Dでセグメント化するための全次元セグメント化手法である。 不整合な2Dセグメンテーションによって引き起こされる課題に対処するため、このフレームワークはグローバルな一貫した3D機能フィールドを生み出す。 提案手法が高品質な3次元セグメンテーションと正確な階層構造理解に与える影響を実験により実証した。
• 参考スコア（独自算出の注目度）: 31.234212614311424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Towards holistic understanding of 3D scenes, a general 3D segmentation method is needed that can segment diverse objects without restrictions on object quantity or categories, while also reflecting the inherent hierarchical structure. To achieve this, we propose OmniSeg3D, an omniversal segmentation method aims for segmenting anything in 3D all at once. The key insight is to lift multi-view inconsistent 2D segmentations into a consistent 3D feature field through a hierarchical contrastive learning framework, which is accomplished by two steps. Firstly, we design a novel hierarchical representation based on category-agnostic 2D segmentations to model the multi-level relationship among pixels. Secondly, image features rendered from the 3D feature field are clustered at different levels, which can be further drawn closer or pushed apart according to the hierarchical relationship between different levels. In tackling the challenges posed by inconsistent 2D segmentations, this framework yields a global consistent 3D feature field, which further enables hierarchical segmentation, multi-object selection, and global discretization. Extensive experiments demonstrate the effectiveness of our method on high-quality 3D segmentation and accurate hierarchical structure understanding. A graphical user interface further facilitates flexible interaction for omniversal 3D segmentation.
• Abstract（参考訳）: 3次元シーンの全体的理解に向けて、オブジェクト量やカテゴリに制約を加えることなく多様なオブジェクトを分割できる汎用的な3次元セグメンテーション手法が必要である。 そこで我々はOmniSeg3Dを提案する。OmniSeg3Dは全3次元のセグメンテーションを同時に行うことを目的としている。 重要な洞察は、階層的コントラスト学習フレームワークを通じて、複数のビューに一貫性のない2dセグメンテーションを一貫した3d機能フィールドに引き上げることである。 まず,画素間のマルチレベル関係をモデル化するために,カテゴリ非依存な2次元セグメンテーションに基づく新しい階層表現を設計する。 第2に、3d特徴フィールドからレンダリングされた画像機能は、異なるレベルにクラスタリングされ、異なるレベル間の階層的関係に従ってさらに近づいたり、押しつぶされたりする。 一貫性のない2dセグメンテーションによって生じる課題に取り組む中で、このフレームワークは、階層的セグメンテーション、マルチオブジェクト選択、グローバル離散化を可能にする、グローバルな一貫性のある3d特徴フィールドをもたらす。 本手法が高品質な3次元セグメンテーションと正確な階層構造理解に有効であることを示す。 グラフィカルユーザインタフェースは、全周3dセグメンテーションの柔軟なインタラクションをさらに促進する。

関連論文リスト

• CUS3D :CLIP-based Unsupervised 3D Segmentation via Object-level Denoise [9.12768731317489]
  CUS3Dという新しい蒸留学習フレームワークを提案する。 オブジェクトレベルのデノシングプロジェクションモジュールは、ノイズのスクリーニングとより正確な3D機能を保証するように設計されています。 得られた特徴に基づき、3D特徴とCLIP意味的特徴空間を整合させる多モード蒸留学習モジュールを設計した。
  論文  参考訳（メタデータ） (2024-09-21T02:17:35Z)
• Few-Shot 3D Volumetric Segmentation with Multi-Surrogate Fusion [31.736235596070937]
  軽量マルチサロゲート融合(MSF)を用いた新しい3DセグメンテーションフレームワークMSFSegを提案する。 MSFSegは、1つまたは数個の注釈付き2Dスライスまたは3Dシーケンスセグメントを備えた、目に見えない3Dオブジェクト/組織(トレーニング中)を自動的に分割することができる。 提案するMSFモジュールは, ラベル付きスライスと少数のラベル付きスライス/シーケンス間の包括的および多彩な相関関係を, 複数の指定されたサロゲートを介して抽出する。
  論文  参考訳（メタデータ） (2024-08-26T17:15:37Z)
• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• A One Stop 3D Target Reconstruction and multilevel Segmentation Method [0.0]
  オープンソースのワンストップ3Dターゲット再構成とマルチレベルセグメンテーションフレームワーク(OSTRA)を提案する。 OSTRAは2D画像上でセグメンテーションを行い、画像シーケンス内のセグメンテーションラベルで複数のインスタンスを追跡し、ラベル付き3Dオブジェクトまたは複数のパーツをMulti-View Stereo(MVS)またはRGBDベースの3D再構成手法で再構成する。 本手法は,複雑なシーンにおいて,リッチなマルチスケールセグメンテーション情報に埋め込まれた3次元ターゲットを再構築するための新たな道を開く。
  論文  参考訳（メタデータ） (2023-08-14T07:12:31Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Learning Hyperbolic Representations for Unsupervised 3D Segmentation [3.516233423854171]
  本稿では,双曲型潜在空間を持つ変分オートエンコーダ(VAE)とジャイロプレーン畳み込み層を用いて,教師なしセグメンテーションのための3次元パッチの効果的表現を提案する。 階層型トイデータセット,BraTS全腫瘍データセット,低温電子顕微鏡データを用いた非教師なし3次元セグメンテーションにおけるハイパーボリック表現の有効性を実証した。
  論文  参考訳（メタデータ） (2020-12-03T02:15:31Z)
• Fine-Grained 3D Shape Classification with Hierarchical Part-View Attentions [70.0171362989609]
  本稿では,FG3D-Netと呼ばれる新しい3次元形状分類手法を提案する。 詳細な3次元形状データセットに基づく結果から,本手法が他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-26T06:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。