論文の概要: GeoSpark: Sparking up Point Cloud Segmentation with Geometry Clue
- arxiv url: http://arxiv.org/abs/2303.08274v1
- Date: Tue, 14 Mar 2023 23:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:25:47.943879
- Title: GeoSpark: Sparking up Point Cloud Segmentation with Geometry Clue
- Title(参考訳): GeoSpark: Geometry Clueでポイントクラウドセグメンテーションを起動
- Authors: Zhening Huang, Xiaoyang Wu, Hengshuang Zhao, Lei Zhu, Shujun Wang,
Georgios Hadjidemetriou, Ioannis Brilakis
- Abstract要約: GeoSparkは、ネットワークに幾何学的ヒントを組み込んだプラグインモジュールで、機能学習とダウンサンプリングを起動する。
機能集約のために、GeoSparkはローカルポイントと近隣の幾何学的パーティションの両方からネットワークを学習することで改善する。
GeoSparkは、幾何学的分割情報を使用して、ユニークな特徴を持つポイントが保存され、冗長なポイントが融合されるダウンサンプリングプロセスを導く。
- 参考スコア(独自算出の注目度): 25.747471104753426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current point cloud segmentation architectures suffer from limited long-range
feature modeling, as they mostly rely on aggregating information with local
neighborhoods. Furthermore, in order to learn point features at multiple
scales, most methods utilize a data-agnostic sampling approach to decrease the
number of points after each stage. Such sampling methods, however, often
discard points for small objects in the early stages, leading to inadequate
feature learning. We believe these issues are can be mitigated by introducing
explicit geometry clues as guidance. To this end, we propose GeoSpark, a
Plug-in module that incorporates Geometry clues into the network to Spark up
feature learning and downsampling. GeoSpark can be easily integrated into
various backbones. For feature aggregation, it improves feature modeling by
allowing the network to learn from both local points and neighboring geometry
partitions, resulting in an enlarged data-tailored receptive field.
Additionally, GeoSpark utilizes geometry partition information to guide the
downsampling process, where points with unique features are preserved while
redundant points are fused, resulting in better preservation of key points
throughout the network. We observed consistent improvements after adding
GeoSpark to various backbones including PointNet++, KPConv, and
PointTransformer. Notably, when integrated with Point Transformer, our GeoSpark
module achieves a 74.7% mIoU on the ScanNetv2 dataset (4.1% improvement) and
71.5% mIoU on the S3DIS Area 5 dataset (1.1% improvement), ranking top on both
benchmarks. Code and models will be made publicly available.
- Abstract(参考訳): 現在のポイントクラウドセグメンテーションアーキテクチャは、主にローカルな近所と情報を集約することに依存しているため、長い範囲の機能モデリングに苦しむ。
さらに,複数の尺度で点特徴を学習するために,データに依存しないサンプリング手法を用いて各段階の点数を削減している。
しかし、そのようなサンプリング手法は、初期の段階では小さな物体のポイントを破棄し、不十分な特徴学習に繋がることが多い。
これらの問題は、明確な幾何学的手がかりをガイダンスとして導入することで緩和できると考えています。
そこで我々はgeosparkを提案する。geosparkはジオメトリのヒントをネットワークに組み込むプラグインモジュールで、機能学習とダウンサンプリングを起動する。
GeoSparkは簡単に様々なバックボーンに統合できる。
特徴集約のために、ネットワークが局所点と近傍の幾何学的分割の両方から学習できるようにすることにより、特徴モデリングを改善し、結果としてデータ調整された受容場が拡大する。
さらにGeoSparkは、ジオパーティション情報を使用して、ユニークな特徴を持つポイントが保存され、冗長なポイントが融合され、ネットワーク全体のキーポイントの保存性が向上するダウンサンプリングプロセスを導く。
我々は、pointnet++、kpconv、pointtransformerを含む様々なバックボーンにgeosparkを追加した後、一貫した改善を観察した。
特に、Point Transformerと統合すると、GeoSparkモジュールはScanNetv2データセット(4.1%改善)で74.7% mIoU、S3DIS Area 5データセット(1.1%改善)で71.5% mIoUを獲得し、両方のベンチマークで上位にランクインします。
コードとモデルは公開される予定だ。
関連論文リスト
- GeoSegNet: Point Cloud Semantic Segmentation via Geometric
Encoder-Decoder Modeling [39.35429984469557]
我々はGeoSegNetと呼ばれるロバストなセマンティックセマンティックセマンティクスネットワークを提案する。
我々のGeoSegNetはマルチジオメトリベースのエンコーダと境界誘導デコーダで構成されている。
実験により,提案手法の精度と対象境界の明瞭度を比較検討し,提案手法を比較検討した。
論文 参考訳(メタデータ) (2022-07-14T09:24:05Z) - SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。
我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-05-26T17:00:23Z) - APP-Net: Auxiliary-point-based Push and Pull Operations for Efficient
Point Cloud Classification [48.230170172837084]
ポイントクラウドベースの3D分類タスクでは、隣のポイントから機能を集約する。
これらの問題に対処するため,我々はAPPと呼ばれる線形複雑性の局所アグリゲータを提案する。
オンラインの正規推定モジュールを使用して、説明可能な幾何学情報を提供し、APPモデリング機能を強化します。
論文 参考訳(メタデータ) (2022-05-02T12:21:11Z) - Stratified Transformer for 3D Point Cloud Segmentation [89.9698499437732]
Stratified Transformerは、長距離コンテキストをキャプチャし、強力な一般化能力と高性能を示す。
不規則な点配置によって引き起こされる課題に対処するために,局所情報を集約する第1層点埋め込みを提案する。
S3DIS, ScanNetv2およびShapeNetPartデータセットにおける本手法の有効性と優位性を示す実験を行った。
論文 参考訳(メタデータ) (2022-03-28T05:35:16Z) - Robust Partial-to-Partial Point Cloud Registration in a Full Range [12.86951061306046]
本稿では,全方向1の部分対部分点クラウド登録(PPR)のためのポーズ不変対応を推定するグラフマッチング・コンセンサス・ネットワーク(GMCNet)を提案する。
GMCNetは、個別に各点クラウドのポイント記述子を、クロスコンテクスト情報や、トレーニングのための接地真理対応を使わずに符号化する。
論文 参考訳(メタデータ) (2021-11-30T17:56:24Z) - Two Heads are Better than One: Geometric-Latent Attention for Point
Cloud Classification and Segmentation [10.2254921311882]
本稿では,幾何学的特徴と潜在的特徴を組み合わせて3次元シーンを意味のある部分集合に分割する,革新的な2頭部アテンション層を提案する。
各ヘッドは、幾何学的特徴または潜在的特徴のいずれかを用いて、局所的およびグローバルな情報を組み合わせて、この情報を使用して、より良い局所的関係を学習する。
論文 参考訳(メタデータ) (2021-10-30T11:20:56Z) - GSIP: Green Semantic Segmentation of Large-Scale Indoor Point Clouds [64.86292006892093]
GSIP (Green of Indoor Point clouds) は大規模屋内シーンポイント雲のセマンティックセグメンテーションの効率的なソリューションである。
GSIPには2つの新しいコンポーネントがある: 1) 更なる処理のためにポイントの適切なサブセットを選択するルームスタイルのデータ前処理方法、2) ポイントホップから拡張された新しい特徴抽出器。
実験の結果、GSIPはS3DISデータセットのセグメンテーション性能においてPointNetよりも優れていた。
論文 参考訳(メタデータ) (2021-09-24T09:26:53Z) - PIG-Net: Inception based Deep Learning Architecture for 3D Point Cloud
Segmentation [0.9137554315375922]
そこで我々はPIG-Netと呼ばれるインセプションに基づくディープネットワークアーキテクチャを提案し,点雲の局所的および大域的幾何学的詳細を効果的に特徴付ける。
我々は2つの最先端データセット上でPIG-Netアーキテクチャの徹底的な実験的解析を行う。
論文 参考訳(メタデータ) (2021-01-28T13:27:55Z) - Learning Geometry-Disentangled Representation for Complementary
Understanding of 3D Object Point Cloud [50.56461318879761]
3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。
GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。
3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
論文 参考訳(メタデータ) (2020-12-20T13:35:00Z) - PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation [111.7241018610573]
私たちは、インスタンスセグメンテーションのための新しいエンドツーエンドボトムアップアーキテクチャであるPointGroupを紹介します。
我々は2分岐ネットワークを設計し、ポイントの特徴を抽出し、セマンティックラベルとオフセットを予測し、各ポイントをそれぞれのインスタンスセントロイドに向けてシフトさせる。
クラスタリングコンポーネントは、元のおよびオフセットシフトされた点座標セットの両方を利用するために、その相補的な強度を利用する。
ScanNet v2 と S3DIS の2つの挑戦的データセットに対する広範な実験を行い、ScanNet v2 と S3DIS が最も高い性能を達成し、63.6% と 64.0% の2つを以前のベストが達成した54.9% と54.4% と比較した。
論文 参考訳(メタデータ) (2020-04-03T16:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。