論文の概要: PointConvFormer: Revenge of the Point-based Convolution
- arxiv url: http://arxiv.org/abs/2208.02879v3
- Date: Wed, 10 May 2023 21:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 18:57:17.204982
- Title: PointConvFormer: Revenge of the Point-based Convolution
- Title(参考訳): PointConvFormer: Pointベースの畳み込みの回避
- Authors: Wenxuan Wu, Li Fuxin, Qi Shan
- Abstract要約: 我々は、ポイントクラウドベースのディープネットワークアーキテクチャのための新しいビルディングブロックであるPointConvFormerを紹介した。
一般化理論にインスパイアされたPointConvFormerは、フィルタ重みが相対的な位置のみに基づく点畳み込みと、特徴に基づく注意力を利用する変換器を組み合わせた。
以上の結果から,PointConvFormerは従来のコンボリューション,正規トランスフォーマー,ボキセル化スパースコンボリューションアプローチよりも精度の高いトレードオフを提供することがわかった。
- 参考スコア(独自算出の注目度): 7.539787913497268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce PointConvFormer, a novel building block for point cloud based
deep network architectures. Inspired by generalization theory, PointConvFormer
combines ideas from point convolution, where filter weights are only based on
relative position, and Transformers which utilize feature-based attention. In
PointConvFormer, attention computed from feature difference between points in
the neighborhood is used to modify the convolutional weights at each point.
Hence, we preserved the invariances from point convolution, whereas attention
helps to select relevant points in the neighborhood for convolution.
PointConvFormer is suitable for multiple tasks that require details at the
point level, such as segmentation and scene flow estimation tasks. We
experiment on both tasks with multiple datasets including ScanNet,
SemanticKitti, FlyingThings3D and KITTI. Our results show that PointConvFormer
offers a better accuracy-speed tradeoff than classic convolutions, regular
transformers, and voxelized sparse convolution approaches. Visualizations show
that PointConvFormer performs similarly to convolution on flat areas, whereas
the neighborhood selection effect is stronger on object boundaries, showing
that it has got the best of both worlds.
- Abstract(参考訳): 我々は、ポイントクラウドベースのディープネットワークアーキテクチャのための新しいビルディングブロックであるpointconvformerを紹介する。
一般化理論にインスパイアされたPointConvFormerは、フィルタ重みが相対的な位置のみに基づく点畳み込みと、特徴に基づく注意力を利用する変換器を組み合わせた。
PointConvFormerでは、各点の畳み込み重みを変更するために、近傍の点間の特徴差から計算された注意が使用される。
したがって、我々は点の畳み込みから不変性を保ち、一方注意は近傍の関連する点を選択するのに役立つ。
PointConvFormerは、セグメンテーションやシーンフロー推定タスクなど、ポイントレベルで詳細を必要とする複数のタスクに適している。
ScanNet、SemanticKitti、FlyingThings3D、KITTIといった複数のデータセットを使って、両方のタスクを実験する。
以上の結果から,pointconvformerは従来の畳み込みや正規トランスフォーマ,voxelized sparse 畳み込みよりも精度の高いトレードオフを提供することがわかった。
可視化により、PointConvFormerは平坦な領域での畳み込みと同様に機能し、一方、近傍の選択効果はオブジェクト境界において強く、両方の世界で最高のものを得たことを示している。
関連論文リスト
- ConDaFormer: Disassembled Transformer with Local Structure Enhancement
for 3D Point Cloud Understanding [105.98609765389895]
トランスフォーマーは、最近3Dポイントクラウド理解のために研究されている。
0.1万を超える多数のポイントは、ポイントクラウドデータに対してグローバルな自己注意を可能にする。
本稿では,ConDaFormerという新しい変圧器ブロックを開発する。
論文 参考訳(メタデータ) (2023-12-18T11:19:45Z) - Point Cloud Classification Using Content-based Transformer via
Clustering in Feature Space [25.57569871876213]
本稿では,PointConTと呼ばれるポイントコンテントベースのトランスフォーマーアーキテクチャを提案する。
特徴空間内の点(コンテンツベース)の局所性を利用して、類似した特徴を持つサンプルポイントを同じクラスにクラスタし、各クラス内の自己アテンションを計算する。
また,各枝の高周波・低周波情報を並列構造を用いて個別に集約するインセプション機能アグリゲータも導入した。
論文 参考訳(メタデータ) (2023-03-08T14:11:05Z) - Stratified Transformer for 3D Point Cloud Segmentation [89.9698499437732]
Stratified Transformerは、長距離コンテキストをキャプチャし、強力な一般化能力と高性能を示す。
不規則な点配置によって引き起こされる課題に対処するために,局所情報を集約する第1層点埋め込みを提案する。
S3DIS, ScanNetv2およびShapeNetPartデータセットにおける本手法の有効性と優位性を示す実験を行った。
論文 参考訳(メタデータ) (2022-03-28T05:35:16Z) - Projection-based Point Convolution for Efficient Point Cloud
Segmentation [24.375383511061955]
投影ベースのポイント・コンボリューション(PPConv)は、2Dコンボリューションと多層パーセプトロン(MLP)をコンポーネントとして使用するポイント・コンボリューションモジュールである。
PPConvは、PointNet++をベースとしたシンプルなアーキテクチャであっても、最先端のメソッドよりも優れた効率を実現している。
論文 参考訳(メタデータ) (2022-02-04T06:22:33Z) - Adaptive Graph Convolution for Point Cloud Analysis [25.175406613705274]
本稿では,動的に学習した特徴に応じて適応的なカーネルを生成する適応グラフ畳み込み(Adaptive Graph Convolution, AdaptConv)を提案する。
提案手法は,いくつかのベンチマークデータセットにおいて,最先端のクラウド分類とセグメンテーションアプローチより優れている。
論文 参考訳(メタデータ) (2021-08-18T08:38:52Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳(メタデータ) (2021-05-10T15:16:14Z) - The Devils in the Point Clouds: Studying the Robustness of Point Cloud
Convolutions [15.997907568429177]
本稿では,点群上の畳み込みネットワークであるPointConvの異なる変種を調査し,入力スケールと回転変化に対する堅牢性を検討する。
3次元幾何学的性質をpointconvへの入力として利用し,新しい視点不変ディスクリプタを導出する。
2D MNIST & CIFAR-10データセットと3D Semantic KITTI & ScanNetデータセットで実験が行われた。
論文 参考訳(メタデータ) (2021-01-19T19:32:38Z) - Global Context Aware Convolutions for 3D Point Cloud Understanding [32.953907994511376]
入力点クラウドから畳み込みへのグローバルコンテキスト情報の統合により特徴の区別を高める新しい畳み込み演算子を提案する。
次に畳み込みを行い、点とアンカーの特徴を最終的な回転不変の特徴に変換する。
論文 参考訳(メタデータ) (2020-08-07T04:33:27Z) - Point-Set Anchors for Object Detection, Instance Segmentation and Pose
Estimation [85.96410825961966]
中心点から抽出された画像の特徴は、離れたキーポイントや境界ボックスの境界を予測するための限られた情報を含んでいると論じる。
推論を容易にするために,より有利な位置に配置された点集合からの回帰を行うことを提案する。
我々は、オブジェクト検出、インスタンス分割、人間のポーズ推定にPoint-Set Anchorsと呼ばれるこのフレームワークを適用した。
論文 参考訳(メタデータ) (2020-07-06T15:59:56Z) - FKAConv: Feature-Kernel Alignment for Point Cloud Convolution [75.85619090748939]
多数の点畳み込み法を関連づけ解析するための定式化を提供する。
また、幾何学のないカーネル重み付けの推定を分離する独自の畳み込み変種も提案する。
分類とセマンティックセグメンテーションのベンチマークで競合する結果を示す。
論文 参考訳(メタデータ) (2020-04-09T10:12:45Z) - FPConv: Learning Local Flattening for Point Convolution [64.01196188303483]
FPConvは3次元点雲解析のために設計された新しい表面形状の畳み込み演算子である。
従来の方法とは異なり、FPConvは3Dグリッドやグラフのような中間表現への変換を必要としない。
FPConvは3Dオブジェクト分類や3Dシーンセグメンテーションといったタスクのために、様々なネットワークアーキテクチャに簡単に統合できる。
論文 参考訳(メタデータ) (2020-02-25T07:15:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。