論文の概要: Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks

• arxiv url: http://arxiv.org/abs/2108.07478v1
• Date: Tue, 17 Aug 2021 07:25:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:21:09.039289
• Title: Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks
• Title（参考訳）: 意味スーパーポイントツリーネットワークを用いた3次元シーンのインスタンス分割
• Authors: Zhihao Liang, Zhihao Li, Songcen Xu, Mingkui Tan and Kui Jia
• Abstract要約: 本稿では,シーンポイントからオブジェクトインスタンスを提案するセマンティックスーパーポイントツリーネットワーク(SSTNet)のエンドツーエンドソリューションを提案する。 SSTNetのキーは中間的セマンティックなスーパーポイントツリー(SST)であり、スーパーポイントの学習されたセマンティックな特徴に基づいて構築されている。 SSTNetはScanNet(V2)のリーダーボードで上位にランクされ、第2のベストメソッドよりもmAPが2%高い。
• 参考スコア（独自算出の注目度）: 64.27814530457042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instance segmentation in 3D scenes is fundamental in many applications of scene understanding. It is yet challenging due to the compound factors of data irregularity and uncertainty in the numbers of instances. State-of-the-art methods largely rely on a general pipeline that first learns point-wise features discriminative at semantic and instance levels, followed by a separate step of point grouping for proposing object instances. While promising, they have the shortcomings that (1) the second step is not supervised by the main objective of instance segmentation, and (2) their point-wise feature learning and grouping are less effective to deal with data irregularities, possibly resulting in fragmented segmentations. To address these issues, we propose in this work an end-to-end solution of Semantic Superpoint Tree Network (SSTNet) for proposing object instances from scene points. Key in SSTNet is an intermediate, semantic superpoint tree (SST), which is constructed based on the learned semantic features of superpoints, and which will be traversed and split at intermediate tree nodes for proposals of object instances. We also design in SSTNet a refinement module, termed CliqueNet, to prune superpoints that may be wrongly grouped into instance proposals. Experiments on the benchmarks of ScanNet and S3DIS show the efficacy of our proposed method. At the time of submission, SSTNet ranks top on the ScanNet (V2) leaderboard, with 2% higher of mAP than the second best method. The source code in PyTorch is available at https://github.com/Gorilla-Lab-SCUT/SSTNet.
• Abstract（参考訳）: 3Dシーンにおけるインスタンスセグメンテーションは、シーン理解の多くの応用において基本である。 データの不規則性やインスタンス数の不確実性の複合的な要因のため、これはまだ難しい。 state-of-the-artメソッドは、まずセマンティックとインスタンスレベルでポイントワイズの特徴を区別し、次にオブジェクトインスタンスを提案するポイントグループ化の別ステップを学習する一般的なパイプラインに大きく依存している。 将来性はあるものの、(1)第2段階はインスタンスセグメンテーションの主目的によって管理されていないこと、(2)ポイントワイドな特徴学習とグループ化はデータの不規則性に対処する上で効果が低いこと、そしておそらく断片的なセグメンテーションをもたらすという欠点がある。 これらの問題に対処するため,本稿では,シーンポイントからオブジェクトインスタンスを提案するセマンティックスーパーポイントツリーネットワーク(sstnet)のエンドツーエンドソリューションを提案する。 SSTNetのキーは中間的なセマンティックなスーパーポイントツリー(SST)で、スーパーポイントの学習されたセマンティックな特徴に基づいて構築され、オブジェクトインスタンスの提案のために中間ツリーノードをトラバースして分割する。 また、SSTNetではCliqueNetと呼ばれる改良モジュールを設計し、誤ってインスタンス提案にグループ化される可能性のあるスーパーポイントを創出します。 ScanNetとS3DISのベンチマーク実験により,提案手法の有効性が示された。 提出時、sstnetはscannet (v2) のリーダーボードのトップにランクインし、第2のベストメソッドよりも2%高いmapを示した。 PyTorchのソースコードはhttps://github.com/Gorilla-Lab-SCUT/SSTNetで公開されている。

関連論文リスト

• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• SegPoint: Segment Any Point Cloud via Large Language Model [62.69797122055389]
  我々は,多種多様なタスクにまたがるポイントワイドセグメンテーションマスクを生成するSegPointと呼ばれるモデルを提案する。 SegPointは、単一のフレームワーク内でさまざまなセグメンテーションタスクに対処する最初のモデルである。
  論文  参考訳（メタデータ） (2024-07-18T17:58:03Z)
• SPGroup3D: Superpoint Grouping Network for Indoor 3D Object Detection [23.208654655032955]
  屋内シーンにおける現在の3Dオブジェクト検出手法は,主に投票・グループ化戦略に従って提案を行う。 屋内アンカーフリーワンステージ3次元物体検出のための新しいスーパーポイントグループネットワークを提案する。 実験により,ScanNet V2, SUN RGB-D, S3DISデータセット上での最先端性能を実証した。
  論文  参考訳（メタデータ） (2023-12-21T08:08:02Z)
• Superpoint Transformer for 3D Scene Instance Segmentation [7.07321040534471]
  本稿では,SPFormer という名称の Superpoint Transformer に基づく,エンドツーエンドの3Dインスタンス分割手法を提案する。 ポイントクラウドからスーパーポイントに潜在的な機能をグループ化し、クエリベクタを通じてインスタンスを直接予測する。 これは、mAPの点でScanNetv2の隠れテストセットを4.3%上回り、高速な推論速度(フレーム当たり247ms)を同時に維持する。
  論文  参考訳（メタデータ） (2022-11-28T20:52:53Z)
• Divide and Conquer: 3D Point Cloud Instance Segmentation With Point-Wise Binarization [16.662238192665615]
  本稿では, PBNet という新たな分割・分散方式を提案する。 我々のバイナリクラスタリングでは、オフセットインスタンスポイントを高密度と低密度の2つのカテゴリに分けています。 PBNetは、ScanNetV2の公式ベンチマークチャレンジで1位にランクインし、最高mAPを達成した。
  論文  参考訳（メタデータ） (2022-07-22T17:19:00Z)
• PointInst3D: Segmenting 3D Instances by Points [136.7261709896713]
  本稿では,ポイント単位の予測方式で機能する,完全畳み込み型3Dポイントクラウドインスタンスセグメンテーション手法を提案する。 その成功の鍵は、各サンプルポイントに適切なターゲットを割り当てることにある。 提案手法はScanNetとS3DISのベンチマークで有望な結果が得られる。
  論文  参考訳（メタデータ） (2022-04-25T02:41:46Z)
• GSIP: Green Semantic Segmentation of Large-Scale Indoor Point Clouds [64.86292006892093]
  GSIP (Green of Indoor Point clouds) は大規模屋内シーンポイント雲のセマンティックセグメンテーションの効率的なソリューションである。 GSIPには2つの新しいコンポーネントがある: 1) 更なる処理のためにポイントの適切なサブセットを選択するルームスタイルのデータ前処理方法、2) ポイントホップから拡張された新しい特徴抽出器。 実験の結果、GSIPはS3DISデータセットのセグメンテーション性能においてPointNetよりも優れていた。
  論文  参考訳（メタデータ） (2021-09-24T09:26:53Z)
• Hierarchical Aggregation for 3D Instance Segmentation [41.20244892803604]
  本稿では,点集合と点集合の空間的関係をフル活用する,HAISというクラスタリングベースのフレームワークを提案する。 ScanNet v2ベンチマークでは、69.9%のAP50を達成し、従来のSOTA(State-of-the-art)メソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2021-08-05T03:34:34Z)
• FPCC: Fast Point Cloud Clustering for Instance Segmentation [4.007351600492542]
  ビンピッキングシーンの3Dポイントクラウドインスタンスセグメンテーションについてはほとんど研究されていない。 各インスタンスのフィーチャーセンターを推論し、残りのポイントをクラスタ化するネットワーク(FPCC-Net)を提案する。 FPCC-Netは平均精度(AP)を約40%改善し,約6万ポイントを約0.8秒で処理できることが示されている。
  論文  参考訳（メタデータ） (2020-12-29T05:58:35Z)
• PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation [111.7241018610573]
  私たちは、インスタンスセグメンテーションのための新しいエンドツーエンドボトムアップアーキテクチャであるPointGroupを紹介します。 我々は2分岐ネットワークを設計し、ポイントの特徴を抽出し、セマンティックラベルとオフセットを予測し、各ポイントをそれぞれのインスタンスセントロイドに向けてシフトさせる。 クラスタリングコンポーネントは、元のおよびオフセットシフトされた点座標セットの両方を利用するために、その相補的な強度を利用する。 ScanNet v2 と S3DIS の2つの挑戦的データセットに対する広範な実験を行い、ScanNet v2 と S3DIS が最も高い性能を達成し、63.6% と 64.0% の2つを以前のベストが達成した54.9% と54.4% と比較した。
  論文  参考訳（メタデータ） (2020-04-03T16:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。