論文の概要: No Pain, Big Gain: Classify Dynamic Point Cloud Sequences with Static
Models by Fitting Feature-level Space-time Surfaces
- arxiv url: http://arxiv.org/abs/2203.11113v1
- Date: Mon, 21 Mar 2022 16:41:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 14:10:58.362568
- Title: No Pain, Big Gain: Classify Dynamic Point Cloud Sequences with Static
Models by Fitting Feature-level Space-time Surfaces
- Title(参考訳): No Pain, Big Gain: 特徴レベルの時空間表面を適合させて静的モデルで動的ポイントクラウドシーケンスを分類する
- Authors: Jia-Xing Zhong, Kaichen Zhou, Qingyong Hu, Bing Wang, Niki Trigoni,
Andrew Markham
- Abstract要約: 本研究では,キネマティックスにインスパイアされたニューラルネットワーク(Kinet)を提案する。
Kinetは、機能レベルのダイナミクスを暗黙的にエンコードし、静的ポイントクラウド処理に成熟したバックボーンを使用することで利点を得る。
キネは320万のパラメータと10.35G FLOPSしか持たないMSRAction-3Dで93.27%の精度を達成した。
- 参考スコア(独自算出の注目度): 46.8891422128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow is a powerful tool for capturing the motion field of 3D point
clouds. However, it is difficult to directly apply flow-based models to dynamic
point cloud classification since the unstructured points make it hard or even
impossible to efficiently and effectively trace point-wise correspondences. To
capture 3D motions without explicitly tracking correspondences, we propose a
kinematics-inspired neural network (Kinet) by generalizing the kinematic
concept of ST-surfaces to the feature space. By unrolling the normal solver of
ST-surfaces in the feature space, Kinet implicitly encodes feature-level
dynamics and gains advantages from the use of mature backbones for static point
cloud processing. With only minor changes in network structures and low
computing overhead, it is painless to jointly train and deploy our framework
with a given static model. Experiments on NvGesture, SHREC'17, MSRAction-3D,
and NTU-RGBD demonstrate its efficacy in performance, efficiency in both the
number of parameters and computational complexity, as well as its versatility
to various static backbones. Noticeably, Kinet achieves the accuracy of 93.27%
on MSRAction-3D with only 3.20M parameters and 10.35G FLOPS.
- Abstract(参考訳): scene flowは、3dポイントクラウドのモーションフィールドをキャプチャする強力なツールだ。
しかし、非構造化点がポイントワイド対応を効率的に、効果的に追跡することを困難または不可能にするため、フローベースモデルを動的ポイントクラウド分類に直接適用することは困難である。
そこで我々は,ST曲面の運動論的概念を特徴空間に一般化することにより,キネマティックスにインスパイアされたニューラルネットワーク(Kinet)を提案する。
特徴空間におけるST曲面の通常の解法をアンロールすることにより、Kineetは暗黙的に特徴レベルのダイナミクスを符号化し、静的ポイントクラウド処理に成熟したバックボーンを使用することで利点を得る。
ネットワーク構造や低コンピューティングオーバーヘッドの小さな変更だけで、特定の静的モデルを使ってフレームワークを共同トレーニングし、デプロイすることは難しくありません。
NvGesture, SHREC'17, MSRAction-3D, NTU-RGBDの実験では, パラメータ数と計算複雑性の両面での性能, および様々な静的バックボーンに対する汎用性を示す。
キネは320Mパラメータと10.35G FLOPSしか持たないMSRAction-3Dで93.27%の精度を達成した。
関連論文リスト
- Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。
我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。
実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
論文 参考訳(メタデータ) (2024-06-05T21:02:10Z) - Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。
textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。
SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文 参考訳(メタデータ) (2024-03-02T08:18:57Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2023-03-28T08:21:44Z) - DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。
本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-01-15T09:31:58Z) - CpT: Convolutional Point Transformer for 3D Point Cloud Processing [10.389972581905]
CpT: Convolutional Point Transformer - 3Dポイントクラウドデータの非構造化の性質を扱うための新しいディープラーニングアーキテクチャ。
CpTは、既存の注目ベースのConvolutions Neural Networksと、以前の3Dポイントクラウド処理トランスフォーマーの改善である。
我々のモデルは、既存の最先端のアプローチと比較して、様々なポイントクラウド処理タスクの効果的なバックボーンとして機能する。
論文 参考訳(メタデータ) (2021-11-21T17:45:55Z) - DV-Det: Efficient 3D Point Cloud Object Detection with Dynamic
Voxelization [0.0]
本稿では,効率的な3Dポイント・クラウド・オブジェクト検出のための新しい2段階フレームワークを提案する。
生のクラウドデータを3D空間で直接解析するが、目覚ましい効率と精度を実現する。
我々は,75 FPSでKITTI 3Dオブジェクト検出データセットを,25 FPSの推論速度で良好な精度でOpenデータセット上で強調する。
論文 参考訳(メタデータ) (2021-07-27T10:07:39Z) - Local Grid Rendering Networks for 3D Object Detection in Point Clouds [98.02655863113154]
CNNは強力だが、全点の雲を高密度の3Dグリッドに酸化した後、点データに直接畳み込みを適用するのは計算コストがかかる。
入力点のサブセットの小さな近傍を低解像度の3Dグリッドに独立してレンダリングする,新しい,原理化されたローカルグリッドレンダリング(LGR)演算を提案する。
ScanNetとSUN RGB-Dデータセットを用いた3次元オブジェクト検出のためのLGR-Netを検証する。
論文 参考訳(メタデータ) (2020-07-04T13:57:43Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳(メタデータ) (2020-06-20T03:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。