論文の概要: PSTNet: Point Spatio-Temporal Convolution on Point Cloud Sequences
- arxiv url: http://arxiv.org/abs/2205.13713v1
- Date: Fri, 27 May 2022 02:14:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:55:57.212178
- Title: PSTNet: Point Spatio-Temporal Convolution on Point Cloud Sequences
- Title（参考訳）: PSTNet: ポイントクラウドシーケンス上のポイント時空間の畳み込み
- Authors: Hehe Fan, Xin Yu, Yuhang Ding, Yi Yang, Mohan Kankanhalli
- Abstract要約: 本稿では,ポイントクラウドシーケンスの情報表現を実現するために,PST畳み込みを提案する。
PSTは3次元空間における局所的構造点を捉えるために空間畳み込みを用い、時間次元に沿った空間領域のダイナミクスをモデル化するために時間畳み込みを用いる。
提案したPST畳み込みを深層ネットワーク,すなわちPSTNetに組み込んで,階層的に点群列の特徴を抽出する。
- 参考スコア（独自算出の注目度）: 51.53563462897779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point cloud sequences are irregular and unordered in the spatial dimension
while exhibiting regularities and order in the temporal dimension. Therefore,
existing grid based convolutions for conventional video processing cannot be
directly applied to spatio-temporal modeling of raw point cloud sequences. In
this paper, we propose a point spatio-temporal (PST) convolution to achieve
informative representations of point cloud sequences. The proposed PST
convolution first disentangles space and time in point cloud sequences. Then, a
spatial convolution is employed to capture the local structure of points in the
3D space, and a temporal convolution is used to model the dynamics of the
spatial regions along the time dimension. Furthermore, we incorporate the
proposed PST convolution into a deep network, namely PSTNet, to extract
features of point cloud sequences in a hierarchical manner. Extensive
experiments on widely-used 3D action recognition and 4D semantic segmentation
datasets demonstrate the effectiveness of PSTNet to model point cloud
sequences.
- Abstract（参考訳）: 点雲列は空間次元では不規則であり、時間次元では規則性と順序を示す。
したがって、従来のビデオ処理のための既存のグリッドベースの畳み込みは、原点雲列の時空間モデリングには直接適用できない。
本稿では、ポイントクラウドシーケンスの情報表現を実現するために、ポイント時空間(PST)畳み込みを提案する。
提案されたPST畳み込みは、まず点雲列における空間と時間を切り離す。
次に、空間畳み込みを用いて3次元空間内の点の局所的な構造を捉え、時空間畳み込みを用いて時間次元に沿った空間領域のダイナミクスをモデル化する。
さらに,提案したPST畳み込みを深層ネットワーク,すなわちPSTNetに組み込んで,点雲列の特徴を階層的に抽出する。
広く使われている3Dアクション認識と4Dセマンティックセグメンテーションデータセットに関する広範な実験は、PSTNetのポイントクラウドシーケンスのモデル化の有効性を実証している。
関連論文リスト
- SPiKE: 3D Human Pose from Point Cloud Sequences [1.8024397171920885]
3D Human Pose Estimation (HPE) は、RGB画像や深度マップ、点雲などの2次元または3次元表現から、人間の身体のキーポイントを3次元空間内に配置するタスクである。
本稿では,点雲列を用いた3次元HPEの新しい手法であるSPiKEを提案する。
3D HPEのITOPベンチマークの実験では、SPiKEは89.19%のmAPに達し、推論時間を大幅に短縮して最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-09-03T13:22:01Z) - Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。
textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。
SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文 参考訳（メタデータ） (2024-03-02T08:18:57Z) - Masked Spatio-Temporal Structure Prediction for Self-supervised Learning
on Point Cloud Videos [75.9251839023226]
人間のアノテーションを使わずにポイントクラウドビデオの構造をキャプチャするMasked-temporal Structure Prediction (MaST-Pre)法を提案する。
MaST-Preは,2つの自己指導型学習タスクから構成される。まず,マスク付きポイントチューブを再構築することにより,ポイントクラウドビデオの出現情報を捉えることができる。
第2に、動作を学習するために、点管内の点数の変化を推定する時間的濃度差予測タスクを提案する。
論文 参考訳（メタデータ） (2023-08-18T02:12:54Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳（メタデータ） (2022-12-17T15:05:25Z) - Real-time 3D human action recognition based on Hyperpoint sequence [14.218567196931687]
リアルタイム3次元行動認識のための軽量で効果的な点列ネットワークを提案する。
SequentialPointNetは、時間的時間的局所構造をキャプチャする代わりに、静的な外見の時間的進化をコード化し、人間の行動を認識する。
広く使用されている3つの3次元行動認識データセットの実験により、提案されたSequentialPointNetは、既存のアプローチよりも最大10倍高速で、競合する分類性能を達成することが示された。
論文 参考訳（メタデータ） (2021-11-16T14:13:32Z) - Anchor-Based Spatial-Temporal Attention Convolutional Networks for
Dynamic 3D Point Cloud Sequences [20.697745449159097]
動的3次元点雲列を処理するために,アンカー型時空間注意畳み込み演算(astaconv)を提案する。
提案する畳み込み操作は、各点の周囲に複数の仮想アンカーを設定することにより、各点の周囲にレギュラーレセプティブフィールドを構築する。
提案手法は,局所領域内の構造化情報をよりよく活用し,動的3次元点雲列から空間-時間埋め込み特徴を学習する。
論文 参考訳（メタデータ） (2020-12-20T07:35:37Z) - CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations [72.4716073597902]
本研究では,動的あるいは動いた物体の標準点クラウド表現を学習する手法を提案する。
本稿では, 形状再構成, カメラポーズ推定, 連続時間列再構成, 対応推定など, 様々な応用における本手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-08-06T17:58:48Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳（メタデータ） (2020-06-20T03:11:04Z) - Unsupervised Learning of Global Registration of Temporal Sequence of
Point Clouds [16.019588704177288]
点雲のグローバルな登録は、2次元または3次元の点集合の配列の最適なアライメントを見つけることを目的としている。
本稿では,現在ある深層学習技術を利用して,点雲の時間的シーケンスからグローバルな登録を教師なし学習する手法を提案する。
論文 参考訳（メタデータ） (2020-06-17T06:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。