論文の概要: GeoSpark: Sparking up Point Cloud Segmentation with Geometry Clue
- arxiv url: http://arxiv.org/abs/2303.08274v1
- Date: Tue, 14 Mar 2023 23:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:25:47.943879
- Title: GeoSpark: Sparking up Point Cloud Segmentation with Geometry Clue
- Title（参考訳）: GeoSpark: Geometry Clueでポイントクラウドセグメンテーションを起動
- Authors: Zhening Huang, Xiaoyang Wu, Hengshuang Zhao, Lei Zhu, Shujun Wang,
Georgios Hadjidemetriou, Ioannis Brilakis
- Abstract要約: GeoSparkは、ネットワークに幾何学的ヒントを組み込んだプラグインモジュールで、機能学習とダウンサンプリングを起動する。
機能集約のために、GeoSparkはローカルポイントと近隣の幾何学的パーティションの両方からネットワークを学習することで改善する。
GeoSparkは、幾何学的分割情報を使用して、ユニークな特徴を持つポイントが保存され、冗長なポイントが融合されるダウンサンプリングプロセスを導く。
- 参考スコア（独自算出の注目度）: 25.747471104753426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current point cloud segmentation architectures suffer from limited long-range
feature modeling, as they mostly rely on aggregating information with local
neighborhoods. Furthermore, in order to learn point features at multiple
scales, most methods utilize a data-agnostic sampling approach to decrease the
number of points after each stage. Such sampling methods, however, often
discard points for small objects in the early stages, leading to inadequate
feature learning. We believe these issues are can be mitigated by introducing
explicit geometry clues as guidance. To this end, we propose GeoSpark, a
Plug-in module that incorporates Geometry clues into the network to Spark up
feature learning and downsampling. GeoSpark can be easily integrated into
various backbones. For feature aggregation, it improves feature modeling by
allowing the network to learn from both local points and neighboring geometry
partitions, resulting in an enlarged data-tailored receptive field.
Additionally, GeoSpark utilizes geometry partition information to guide the
downsampling process, where points with unique features are preserved while
redundant points are fused, resulting in better preservation of key points
throughout the network. We observed consistent improvements after adding
GeoSpark to various backbones including PointNet++, KPConv, and
PointTransformer. Notably, when integrated with Point Transformer, our GeoSpark
module achieves a 74.7% mIoU on the ScanNetv2 dataset (4.1% improvement) and
71.5% mIoU on the S3DIS Area 5 dataset (1.1% improvement), ranking top on both
benchmarks. Code and models will be made publicly available.
- Abstract（参考訳）: 現在のポイントクラウドセグメンテーションアーキテクチャは、主にローカルな近所と情報を集約することに依存しているため、長い範囲の機能モデリングに苦しむ。
さらに,複数の尺度で点特徴を学習するために,データに依存しないサンプリング手法を用いて各段階の点数を削減している。
しかし、そのようなサンプリング手法は、初期の段階では小さな物体のポイントを破棄し、不十分な特徴学習に繋がることが多い。
これらの問題は、明確な幾何学的手がかりをガイダンスとして導入することで緩和できると考えています。
そこで我々はgeosparkを提案する。geosparkはジオメトリのヒントをネットワークに組み込むプラグインモジュールで、機能学習とダウンサンプリングを起動する。
GeoSparkは簡単に様々なバックボーンに統合できる。
特徴集約のために、ネットワークが局所点と近傍の幾何学的分割の両方から学習できるようにすることにより、特徴モデリングを改善し、結果としてデータ調整された受容場が拡大する。
さらにGeoSparkは、ジオパーティション情報を使用して、ユニークな特徴を持つポイントが保存され、冗長なポイントが融合され、ネットワーク全体のキーポイントの保存性が向上するダウンサンプリングプロセスを導く。
我々は、pointnet++、kpconv、pointtransformerを含む様々なバックボーンにgeosparkを追加した後、一貫した改善を観察した。
特に、Point Transformerと統合すると、GeoSparkモジュールはScanNetv2データセット(4.1%改善)で74.7% mIoU、S3DIS Area 5データセット(1.1%改善)で71.5% mIoUを獲得し、両方のベンチマークで上位にランクインします。
コードとモデルは公開される予定だ。
関連論文リスト
- GSTran: Joint Geometric and Semantic Coherence for Point Cloud Segmentation [33.72549134362884]
本稿では,セグメント化作業に適した新しい変圧器ネットワークであるGSTranを提案する。
提案するネットワークは主に,局所幾何学変換器と大域意味変換器の2つの主成分から構成される。
ShapeNetPartとS3DISベンチマークの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-21T12:12:37Z) - GeoFormer: Learning Point Cloud Completion with Tri-Plane Integrated Transformer [41.26276375114911]
ポイント・クラウド・コンプリートは、正確なグローバル・ジオメトリを復元し、部分的なポイント・クラウドからのきめ細かい局所的な詳細を保存することを目的としている。
従来の手法では、3Dポイントのクラウド座標から直接見えない点を予測したり、自己投影された多視点深度マップを使用するのが一般的である。
ポイントのグローバルな幾何学的構造を同時に拡張し、局所的な詳細を改善するGeoFormerを導入する。
論文 参考訳（メタデータ） (2024-08-13T03:15:36Z) - On-the-fly Point Feature Representation for Point Clouds Analysis [7.074010861305738]
そこで我々は,曲線特徴生成モジュールを通じて,豊富な幾何学的情報を明示的にキャプチャするOn-the-fly Point Feature Representation (OPFR)を提案する。
また、三角形集合に基づく局所座標系を近似した局所参照コンストラクタモジュールを導入する。
OPFRは推論に1.56ms(バニラPFHより65倍速い)と0.012M以上のパラメータしか必要とせず、様々なバックボーン用の汎用的なプラグアンドプレイモジュールとして機能する。
論文 参考訳（メタデータ） (2024-07-31T04:57:06Z) - Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding [11.416392706435415]
ゼロショット3Dポイントクラウド理解は2Dビジョンランゲージモデル(VLM)によって達成できる
既存の戦略は、ヴィジュアル・ランゲージ・モデル(Vision-Language Model)をレンダリングまたはキャプチャされた2Dピクセルから3Dポイントにマッピングし、固有かつ表現可能な雲の幾何学構造を見渡す。
本稿では, 点雲の3次元幾何学的構造を利用して, 移動したビジョン・ランゲージモデルの品質を向上させるための, 初となるトレーニングフリーアグリゲーション手法を提案する。
論文 参考訳（メタデータ） (2023-12-04T12:30:07Z) - Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。
現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。
我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
論文 参考訳（メタデータ） (2023-07-27T03:42:12Z) - SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。
我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-26T17:00:23Z) - Stratified Transformer for 3D Point Cloud Segmentation [89.9698499437732]
Stratified Transformerは、長距離コンテキストをキャプチャし、強力な一般化能力と高性能を示す。
不規則な点配置によって引き起こされる課題に対処するために,局所情報を集約する第1層点埋め込みを提案する。
S3DIS, ScanNetv2およびShapeNetPartデータセットにおける本手法の有効性と優位性を示す実験を行った。
論文 参考訳（メタデータ） (2022-03-28T05:35:16Z) - Two Heads are Better than One: Geometric-Latent Attention for Point
Cloud Classification and Segmentation [10.2254921311882]
本稿では,幾何学的特徴と潜在的特徴を組み合わせて3次元シーンを意味のある部分集合に分割する,革新的な2頭部アテンション層を提案する。
各ヘッドは、幾何学的特徴または潜在的特徴のいずれかを用いて、局所的およびグローバルな情報を組み合わせて、この情報を使用して、より良い局所的関係を学習する。
論文 参考訳（メタデータ） (2021-10-30T11:20:56Z) - GSIP: Green Semantic Segmentation of Large-Scale Indoor Point Clouds [64.86292006892093]
GSIP (Green of Indoor Point clouds) は大規模屋内シーンポイント雲のセマンティックセグメンテーションの効率的なソリューションである。
GSIPには2つの新しいコンポーネントがある: 1) 更なる処理のためにポイントの適切なサブセットを選択するルームスタイルのデータ前処理方法、2) ポイントホップから拡張された新しい特徴抽出器。
実験の結果、GSIPはS3DISデータセットのセグメンテーション性能においてPointNetよりも優れていた。
論文 参考訳（メタデータ） (2021-09-24T09:26:53Z) - Learning Geometry-Disentangled Representation for Complementary
Understanding of 3D Object Point Cloud [50.56461318879761]
3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。
GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。
3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
論文 参考訳（メタデータ） (2020-12-20T13:35:00Z) - PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation [111.7241018610573]
私たちは、インスタンスセグメンテーションのための新しいエンドツーエンドボトムアップアーキテクチャであるPointGroupを紹介します。
我々は2分岐ネットワークを設計し、ポイントの特徴を抽出し、セマンティックラベルとオフセットを予測し、各ポイントをそれぞれのインスタンスセントロイドに向けてシフトさせる。
クラスタリングコンポーネントは、元のおよびオフセットシフトされた点座標セットの両方を利用するために、その相補的な強度を利用する。
ScanNet v2 と S3DIS の2つの挑戦的データセットに対する広範な実験を行い、ScanNet v2 と S3DIS が最も高い性能を達成し、63.6% と 64.0% の2つを以前のベストが達成した54.9% と54.4% と比較した。
論文 参考訳（メタデータ） (2020-04-03T16:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。