論文の概要: OmniSeg3D: Omniversal 3D Segmentation via Hierarchical Contrastive
Learning
- arxiv url: http://arxiv.org/abs/2311.11666v1
- Date: Mon, 20 Nov 2023 11:04:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:19:11.052066
- Title: OmniSeg3D: Omniversal 3D Segmentation via Hierarchical Contrastive
Learning
- Title(参考訳): OmniSeg3D:階層的コントラスト学習によるOmniversal 3Dセグメンテーション
- Authors: Haiyang Ying, Yixuan Yin, Jinzhi Zhang, Fan Wang, Tao Yu, Ruqi Huang,
Lu Fang
- Abstract要約: OmniSeg3Dは,すべてのものを同時に3Dでセグメント化するための全次元セグメント化手法である。
不整合な2Dセグメンテーションによって引き起こされる課題に対処するため、このフレームワークはグローバルな一貫した3D機能フィールドを生み出す。
提案手法が高品質な3次元セグメンテーションと正確な階層構造理解に与える影響を実験により実証した。
- 参考スコア(独自算出の注目度): 31.234212614311424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Towards holistic understanding of 3D scenes, a general 3D segmentation method
is needed that can segment diverse objects without restrictions on object
quantity or categories, while also reflecting the inherent hierarchical
structure. To achieve this, we propose OmniSeg3D, an omniversal segmentation
method aims for segmenting anything in 3D all at once. The key insight is to
lift multi-view inconsistent 2D segmentations into a consistent 3D feature
field through a hierarchical contrastive learning framework, which is
accomplished by two steps. Firstly, we design a novel hierarchical
representation based on category-agnostic 2D segmentations to model the
multi-level relationship among pixels. Secondly, image features rendered from
the 3D feature field are clustered at different levels, which can be further
drawn closer or pushed apart according to the hierarchical relationship between
different levels. In tackling the challenges posed by inconsistent 2D
segmentations, this framework yields a global consistent 3D feature field,
which further enables hierarchical segmentation, multi-object selection, and
global discretization. Extensive experiments demonstrate the effectiveness of
our method on high-quality 3D segmentation and accurate hierarchical structure
understanding. A graphical user interface further facilitates flexible
interaction for omniversal 3D segmentation.
- Abstract(参考訳): 3次元シーンの全体的理解に向けて、オブジェクト量やカテゴリに制約を加えることなく多様なオブジェクトを分割できる汎用的な3次元セグメンテーション手法が必要である。
そこで我々はOmniSeg3Dを提案する。OmniSeg3Dは全3次元のセグメンテーションを同時に行うことを目的としている。
重要な洞察は、階層的コントラスト学習フレームワークを通じて、複数のビューに一貫性のない2dセグメンテーションを一貫した3d機能フィールドに引き上げることである。
まず,画素間のマルチレベル関係をモデル化するために,カテゴリ非依存な2次元セグメンテーションに基づく新しい階層表現を設計する。
第2に、3d特徴フィールドからレンダリングされた画像機能は、異なるレベルにクラスタリングされ、異なるレベル間の階層的関係に従ってさらに近づいたり、押しつぶされたりする。
一貫性のない2dセグメンテーションによって生じる課題に取り組む中で、このフレームワークは、階層的セグメンテーション、マルチオブジェクト選択、グローバル離散化を可能にする、グローバルな一貫性のある3d特徴フィールドをもたらす。
本手法が高品質な3次元セグメンテーションと正確な階層構造理解に有効であることを示す。
グラフィカルユーザインタフェースは、全周3dセグメンテーションの柔軟なインタラクションをさらに促進する。
関連論文リスト
- PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via
Foundation Models [53.45712917347696]
我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する、新しいトレーニングフリーパラダイムであるPointSegを提案する。
PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。
このアプローチは,ScanNet,ScanNet++,KITTI-360データセット上の13.4$%,11.3$%,12$%のmAPで最先端のスペシャリストモデルを大幅に上回る。
論文 参考訳(メタデータ) (2024-03-11T03:28:20Z) - SAI3D: Segment Any Instance in 3D Scenes [72.65788433148309]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
Scan-Netとより挑戦的なScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2023-12-17T09:05:47Z) - DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance
Fields [73.97131748433212]
本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。
我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。
トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
論文 参考訳(メタデータ) (2023-11-18T21:58:28Z) - A One Stop 3D Target Reconstruction and multilevel Segmentation Method [0.0]
オープンソースのワンストップ3Dターゲット再構成とマルチレベルセグメンテーションフレームワーク(OSTRA)を提案する。
OSTRAは2D画像上でセグメンテーションを行い、画像シーケンス内のセグメンテーションラベルで複数のインスタンスを追跡し、ラベル付き3Dオブジェクトまたは複数のパーツをMulti-View Stereo(MVS)またはRGBDベースの3D再構成手法で再構成する。
本手法は,複雑なシーンにおいて,リッチなマルチスケールセグメンテーション情報に埋め込まれた3次元ターゲットを再構築するための新たな道を開く。
論文 参考訳(メタデータ) (2023-08-14T07:12:31Z) - Lowis3D: Language-Driven Open-World Instance-Level 3D Scene
Understanding [57.47315482494805]
オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。
モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。
本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
論文 参考訳(メタデータ) (2023-08-01T07:50:14Z) - ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。
セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
論文 参考訳(メタデータ) (2022-11-22T06:19:37Z) - Semi-supervised 3D shape segmentation with multilevel consistency and
part substitution [21.075426681857024]
本稿では,ラベル付3次元形状とラベル付3次元データの量から3次元分割を効果的に学習するための半教師付き手法を提案する。
ラベルのないデータに対して,3次元形状の摂動コピー間のネットワーク予測の整合性を確保するために,新しい多レベル整合性損失を提案する。
ラベル付きデータに対して,より構造的な変化を伴ってラベル付き3次元形状を増強し,トレーニングを強化するシンプルな部分置換法を開発した。
論文 参考訳(メタデータ) (2022-04-19T11:48:24Z) - Learning Hyperbolic Representations for Unsupervised 3D Segmentation [3.516233423854171]
本稿では,双曲型潜在空間を持つ変分オートエンコーダ(VAE)とジャイロプレーン畳み込み層を用いて,教師なしセグメンテーションのための3次元パッチの効果的表現を提案する。
階層型トイデータセット,BraTS全腫瘍データセット,低温電子顕微鏡データを用いた非教師なし3次元セグメンテーションにおけるハイパーボリック表現の有効性を実証した。
論文 参考訳(メタデータ) (2020-12-03T02:15:31Z) - Fine-Grained 3D Shape Classification with Hierarchical Part-View
Attentions [70.0171362989609]
本稿では,FG3D-Netと呼ばれる新しい3次元形状分類手法を提案する。
詳細な3次元形状データセットに基づく結果から,本手法が他の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-05-26T06:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。