論文の概要: 3D Instance Segmentation of MVS Buildings
- arxiv url: http://arxiv.org/abs/2112.09902v1
- Date: Sat, 18 Dec 2021 11:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 14:57:44.756868
- Title: 3D Instance Segmentation of MVS Buildings
- Title(参考訳): MVSビルの3次元インスタンスセグメンテーション
- Authors: Yanghui Xu, Jiazhou Chen, Shufang Lu, Ronghua Liang, and Liangliang
Nan
- Abstract要約: 本稿では,多視点ステレオ(MVS)都市シーンから3次元建物をセグメント化するための新しい枠組みを提案する。
この研究の重点は、大型で不正確な3D表面モデルに取り付けられたとしても、3Dビルディングインスタンスを検出し、セグメンテーションすることにある。
- 参考スコア(独自算出の注目度): 5.2517244720510305
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present a novel framework for instance segmentation of 3D buildings from
Multi-view Stereo (MVS) urban scenes. Unlike existing works focusing on
semantic segmentation of an urban scene, the emphasis of this work lies in
detecting and segmenting 3D building instances even if they are attached and
embedded in a large and imprecise 3D surface model. Multi-view RGB images are
first enhanced to RGBH images by adding a heightmap and are segmented to obtain
all roof instances using a fine-tuned 2D instance segmentation neural network.
Roof instance masks from different multi-view images are then clustered into
global masks. Our mask clustering accounts for spatial occlusion and
overlapping, which can eliminate segmentation ambiguities among multi-view
images. Based on these global masks, 3D roof instances are segmented out by
mask back-projections and extended to the entire building instances through a
Markov random field (MRF) optimization. Quantitative evaluations and ablation
studies have shown the effectiveness of all major steps of the method. A
dataset for the evaluation of instance segmentation of 3D building models is
provided as well. To the best of our knowledge, it is the first dataset for 3D
urban buildings on the instance segmentation level.
- Abstract(参考訳): 本稿では,多視点ステレオ(mvs)都市景観から3次元建物をセグメンテーションする新しい枠組みを提案する。
都市景観のセマンティックセグメンテーションに焦点を当てた既存の作品とは異なり、この作品の重点は、大規模で不正確な3次元表面モデルに取り付けられたとしても、3Dビルディングインスタンスの検出とセグメンテーションである。
マルチビューRGB画像は、まずハイトマップを追加してRGBH画像に拡張され、細調整された2Dインスタンスセグメンテーションニューラルネットワークを用いてすべての屋根インスタンスを取得する。
異なるマルチビューイメージのルーフインスタンスマスクは、グローバルマスクにクラスタ化される。
マスククラスタリングは空間的閉塞と重複を考慮し,マルチビュー画像間のセグメンテーションあいまいさを解消する。
これらのグローバルマスクに基づいて、3Dルーフインスタンスはマスクバックプロジェクションによって分割され、マルコフランダムフィールド(MRF)最適化によってビルディングインスタンス全体に拡張される。
定量的評価とアブレーション研究により, 本手法のすべての主要なステップの有効性が示された。
3dビルディングモデルのインスタンスセグメンテーション評価用のデータセットも提供する。
我々の知る限りでは、これはインスタンスセグメンテーションレベルにおける3D都市建物の最初のデータセットである。
関連論文リスト
- MaskClustering: View Consensus based Mask Graph Clustering for
Open-Vocabulary 3D Instance Segmentation [12.151538792378945]
3次元オープンボキャブラリインスタンスセグメンテーションの方法は、高品質なアノテートされた3Dデータの限られたスケールによって妨げられる。
我々は,ビューコンセンサスと呼ばれる新しいメトリクスを提案し,マルチビュー観測をよりよく活用する。
本手法は,オープンボキャブラリインスタンスセグメンテーションとクラス非依存マスク生成の両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-01-15T14:56:15Z) - Open3DIS: Open-vocabulary 3D Instance Segmentation with 2D Mask Guidance [51.60563295730421]
Open3DISは3Dシーン内でのOpen-Vocabulary Instanceの問題に対処するために設計された新しいソリューションである。
3D環境内のオブジェクトは、さまざまな形状、スケール、色を示し、正確なインスタンスレベルの識別が困難なタスクとなる。
論文 参考訳(メタデータ) (2023-12-17T10:07:03Z) - SAI3D: Segment Any Instance in 3D Scenes [72.65788433148309]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
Scan-Netとより挑戦的なScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2023-12-17T09:05:47Z) - SAM-guided Graph Cut for 3D Instance Segmentation [63.797612618531346]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳(メタデータ) (2023-12-13T18:59:58Z) - A One Stop 3D Target Reconstruction and multilevel Segmentation Method [0.0]
オープンソースのワンストップ3Dターゲット再構成とマルチレベルセグメンテーションフレームワーク(OSTRA)を提案する。
OSTRAは2D画像上でセグメンテーションを行い、画像シーケンス内のセグメンテーションラベルで複数のインスタンスを追跡し、ラベル付き3Dオブジェクトまたは複数のパーツをMulti-View Stereo(MVS)またはRGBDベースの3D再構成手法で再構成する。
本手法は,複雑なシーンにおいて,リッチなマルチスケールセグメンテーション情報に埋め込まれた3次元ターゲットを再構築するための新たな道を開く。
論文 参考訳(メタデータ) (2023-08-14T07:12:31Z) - ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。
セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
論文 参考訳(メタデータ) (2022-11-22T06:19:37Z) - Mask3D: Mask Transformer for 3D Semantic Instance Segmentation [89.41640045953378]
一般的なTransformerビルディングブロックを利用して、3Dポイントクラウドからインスタンスマスクを直接予測できることが示されています。
Transformerデコーダを使用して、インスタンスクエリは、複数のスケールでクラウド機能をポイントする反復的な参加者によって学習される。
Mask3Dは、新しい最先端ScanNetテスト(+6.2 mAP)、S3DIS 6-fold(+10.1 mAP)、LS3D(+11.2 mAP)、ScanNet200テスト(+12.4 mAP)を設定する。
論文 参考訳(メタデータ) (2022-10-06T17:55:09Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳(メタデータ) (2022-08-04T14:13:35Z) - SDOD:Real-time Segmenting and Detecting 3D Object by Depth [5.97602869680438]
本稿では,3次元物体を奥行きで分割・検出するリアルタイムフレームワークを提案する。
オブジェクトの深さを深度カテゴリに分類し、インスタンス分割タスクをピクセルレベルの分類タスクに変換する。
挑戦的なKITTIデータセットの実験から、我々のアプローチはLklNetを約1.8倍の性能で、セグメンテーションと3D検出の速度を上回ります。
論文 参考訳(メタデータ) (2020-01-26T09:06:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。