論文の概要: pCTFusion: Point Convolution-Transformer Fusion with Semantic Aware Loss
for Outdoor LiDAR Point Cloud Segmentation
- arxiv url: http://arxiv.org/abs/2307.14777v1
- Date: Thu, 27 Jul 2023 11:12:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 14:52:23.256710
- Title: pCTFusion: Point Convolution-Transformer Fusion with Semantic Aware Loss
for Outdoor LiDAR Point Cloud Segmentation
- Title（参考訳）: pCTフュージョン:外部LiDAR点雲セグメンテーションにおけるセマンティックアウェアロスを用いたポイントコンボリューション・トランスフォーマー融合
- Authors: Abhishek Kuriyal, Vaibhav Kumar, Bharat Lohani
- Abstract要約: 本研究では,カーネルベースの畳み込みと自己保持機構を組み合わせた新しいアーキテクチャpCTFusionを提案する。
提案アーキテクチャでは,エンコーダブロックの階層的位置に基づいて,ローカルとグローバルの2種類の自己保持機構を採用している。
結果は特に、クラス不均衡、スペースの欠如、隣り合わせの機能符号化によってしばしば誤って分類される、マイナーなクラスを奨励している。
- 参考スコア（独自算出の注目度）: 8.24822602555667
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LiDAR-generated point clouds are crucial for perceiving outdoor environments.
The segmentation of point clouds is also essential for many applications.
Previous research has focused on using self-attention and convolution (local
attention) mechanisms individually in semantic segmentation architectures.
However, there is limited work on combining the learned representations of
these attention mechanisms to improve performance. Additionally, existing
research that combines convolution with self-attention relies on global
attention, which is not practical for processing large point clouds. To address
these challenges, this study proposes a new architecture, pCTFusion, which
combines kernel-based convolutions and self-attention mechanisms for better
feature learning and capturing local and global dependencies in segmentation.
The proposed architecture employs two types of self-attention mechanisms, local
and global, based on the hierarchical positions of the encoder blocks.
Furthermore, the existing loss functions do not consider the semantic and
position-wise importance of the points, resulting in reduced accuracy,
particularly at sharp class boundaries. To overcome this, the study models a
novel attention-based loss function called Pointwise Geometric Anisotropy
(PGA), which assigns weights based on the semantic distribution of points in a
neighborhood. The proposed architecture is evaluated on SemanticKITTI outdoor
dataset and showed a 5-7% improvement in performance compared to the
state-of-the-art architectures. The results are particularly encouraging for
minor classes, often misclassified due to class imbalance, lack of space, and
neighbor-aware feature encoding. These developed methods can be leveraged for
the segmentation of complex datasets and can drive real-world applications of
LiDAR point cloud.
- Abstract（参考訳）: LiDARの生成する点雲は屋外環境の知覚に不可欠である。
ポイントクラウドのセグメンテーションは多くのアプリケーションに必須である。
従来の研究は、セマンティックセグメンテーションアーキテクチャにおいて個別に自己注意と畳み込み(局所的な注意)メカニズムの使用に焦点を当ててきた。
しかしながら、これらの注意機構の学習された表現を組み合わせることでパフォーマンスを向上させる作業は限られている。
さらに、コンボリューションとセルフアテンションを組み合わせた既存の研究は、大点雲の処理には実用的でないグローバルな注意に依存している。
これらの課題に対処するため,本研究では,カーネルに基づく畳み込みと自己アテンション機構を組み合わせた新しいアーキテクチャであるpctfusionを提案する。
提案するアーキテクチャは,エンコーダブロックの階層的位置に基づいて,局所的および大域的な2種類の自己アテンション機構を用いる。
さらに、既存の損失関数は点の意味的および位置的重要性を考慮せず、特に鋭いクラス境界において精度を低下させる。
そこで本研究では,近傍における点の意味分布に基づく重み付けを割り当てる,ポイントワイズ幾何異方性(pga)と呼ばれる新しい注意に基づく損失関数をモデル化した。
提案アーキテクチャはSemanticKITTIの屋外データセットで評価され,最先端アーキテクチャと比較して5～7%の性能向上を示した。
結果は特に、クラス不均衡、スペースの欠如、隣り合わせの機能符号化によってしばしば誤って分類される、マイナーなクラスを奨励している。
これらの開発手法は、複雑なデータセットのセグメンテーションに活用でき、lidar point cloudの実世界のアプリケーションを動かすことができる。
関連論文リスト
- Point Cloud Understanding via Attention-Driven Contrastive Learning [64.65145700121442]
トランスフォーマーベースのモデルは、自己認識機構を活用することにより、先進的なポイントクラウド理解を持つ。
PointACLは、これらの制限に対処するために設計された、注意駆動のコントラスト学習フレームワークである。
本手法では, 注意駆動型動的マスキング手法を用いて, モデルが非集中領域に集中するように誘導する。
論文 参考訳（メタデータ） (2024-11-22T05:41:00Z) - Global Attention-Guided Dual-Domain Point Cloud Feature Learning for Classification and Segmentation [21.421806351869552]
上記の問題に対処するために,グローバルアテンション誘導型デュアルドメイン特徴学習ネットワーク(GAD)を提案する。
我々はまず,改良されたグローバルアテンション機構を備えたコンテキスト位置強調変換器(CPT)モジュールを考案した。
次に、デュアルドメインK-アレスト隣のフィーチャーフュージョン(DKFF)をカスケードして、効果的なフィーチャーアグリゲーションを行う。
論文 参考訳（メタデータ） (2024-07-12T05:19:19Z) - Point Tree Transformer for Point Cloud Registration [33.00645881490638]
ポイントクラウド登録は、コンピュータビジョンとロボティクスの分野における基本的なタスクである。
本稿では,局所的特徴とグローバルな特徴を効率的に抽出する,ポイントクラウド登録のためのトランスフォーマーベースの新しいアプローチを提案する。
本手法は最先端の手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2024-06-25T13:14:26Z) - PointJEM: Self-supervised Point Cloud Understanding for Reducing Feature
Redundancy via Joint Entropy Maximization [10.53900407467811]
本稿では,ポイントクラウド分野に適用した自己教師付き表現学習手法であるPointJEMを提案する。
特徴の余分な情報を減らすために、PointJEMは異なる部分間の関節のエントロピーを最大化する。
PointJEMは、分類やセグメンテーションといった下流タスクにおける競合的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-06T08:21:42Z) - Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud
Analysis [74.00441177577295]
ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。
本稿では,軽量点雲モデルのための特徴蒸留について検討する。
本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
論文 参考訳（メタデータ） (2023-10-08T11:32:50Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳（メタデータ） (2023-07-07T04:03:48Z) - Centralized Feature Pyramid for Object Detection [53.501796194901964]
視覚的特徴ピラミッドは、広範囲のアプリケーションにおいて、有効性と効率の両方において、その優位性を示している。
本稿では,オブジェクト検出のためのOLO特徴ピラミッドを提案する。
論文 参考訳（メタデータ） (2022-10-05T08:32:54Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine
Reconstruction with Self-Projection Optimization [52.20602782690776]
実際のスキャンされたスパースデータからトレーニング用の大規模なペアリングスパーススキャンポイントセットを得るのは高価で面倒です。
本研究では,SPU-Net と呼ばれる自己監視型点群アップサンプリングネットワークを提案する。
本研究では,合成データと実データの両方について様々な実験を行い,最先端の教師付き手法と同等の性能が得られることを示す。
論文 参考訳（メタデータ） (2020-12-08T14:14:09Z) - Hybrid Multiple Attention Network for Semantic Segmentation in Aerial
Images [24.35779077001839]
グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。
本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
論文 参考訳（メタデータ） (2020-01-09T07:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。