論文の概要: Dynamic 3D Point Cloud Sequences as 2D Videos

• arxiv url: http://arxiv.org/abs/2403.01129v2
• Date: Fri, 21 Jun 2024 04:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 19:36:33.486873
• Title: Dynamic 3D Point Cloud Sequences as 2D Videos
• Title（参考訳）: 2Dビデオとしての動的3Dポイントクラウドシーケンス
• Authors: Yiming Zeng, Junhui Hou, Qijian Zhang, Siyu Ren, Wenping Wang,
• Abstract要約: 3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
• 参考スコア（独自算出の注目度）: 81.46246338686478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic 3D point cloud sequences serve as one of the most common and practical representation modalities of dynamic real-world environments. However, their unstructured nature in both spatial and temporal domains poses significant challenges to effective and efficient processing. Existing deep point cloud sequence modeling approaches imitate the mature 2D video learning mechanisms by developing complex spatio-temporal point neighbor grouping and feature aggregation schemes, often resulting in methods lacking effectiveness, efficiency, and expressive power. In this paper, we propose a novel generic representation called \textit{Structured Point Cloud Videos} (SPCVs). Intuitively, by leveraging the fact that 3D geometric shapes are essentially 2D manifolds, SPCV re-organizes a point cloud sequence as a 2D video with spatial smoothness and temporal consistency, where the pixel values correspond to the 3D coordinates of points. The structured nature of our SPCV representation allows for the seamless adaptation of well-established 2D image/video techniques, enabling efficient and effective processing and analysis of 3D point cloud sequences. To achieve such re-organization, we design a self-supervised learning pipeline that is geometrically regularized and driven by self-reconstructive and deformation field learning objectives. Additionally, we construct SPCV-based frameworks for both low-level and high-level 3D point cloud sequence processing and analysis tasks, including action recognition, temporal interpolation, and compression. Extensive experiments demonstrate the versatility and superiority of the proposed SPCV, which has the potential to offer new possibilities for deep learning on unstructured 3D point cloud sequences. Code will be released at https://github.com/ZENGYIMING-EAMON/SPCV.
• Abstract（参考訳）: 動的3Dポイントクラウドシーケンスは、動的現実世界環境の最も一般的で実用的な表現の1つとして機能する。 しかし、空間的領域と時間的領域の両方における非構造的な性質は、効率的かつ効率的な処理に重大な課題をもたらす。 既存のディープポイント・クラウド・シーケンス・モデリング手法は、複雑な時空間近傍グループと特徴集約スキームを開発することによって、成熟した2次元ビデオ学習機構を模倣し、多くの場合、有効性、効率、表現力に欠ける手法をもたらす。 本稿では,SPCV(textit{Structured Point Cloud Videos)と呼ばれる新しい汎用表現を提案する。 直感的には、3次元幾何学的形状が本質的に2次元多様体であるという事実を活用することにより、SPCVは、点の3次元座標に対応する画素値が空間的滑らかさと時間的一貫性を持つ2次元ビデオとして、点雲列を再編成する。 SPCV表現の構造化された性質により、よく確立された2次元画像/映像技術のシームレスな適応が可能となり、3次元点雲列の効率的かつ効率的な処理と解析が可能となった。 このような再編成を実現するために、幾何学的に正規化され、自己再構成的および変形的フィールド学習目的によって駆動される自己教師型学習パイプラインを設計する。 さらに,SPCVをベースとした低レベル・高レベルの3Dポイントクラウドシーケンス処理と解析タスクの構築を行い,動作認識,時間的補間,圧縮などを行った。 広範な実験により提案されたSPCVの汎用性と優位性が示され、非構造化の3Dポイントクラウドシークエンスの深層学習に新たな可能性をもたらす可能性がある。 コードはhttps://github.com/ZENGYIMING-EAMON/SPCV.comでリリースされる。

関連論文リスト

• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Deepfake Detection: Leveraging the Power of 2D and 3D CNN Ensembles [0.0]
  本研究は,映像コンテンツの検証に革新的なアプローチを提案する。 この手法は高度な2次元および3次元畳み込みニューラルネットワークをブレンドする。 実験による検証は、この戦略の有効性を強調し、ディープフェイクの発生に対処する可能性を示している。
  論文  参考訳（メタデータ） (2023-10-25T06:00:37Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Anchor-Based Spatial-Temporal Attention Convolutional Networks for Dynamic 3D Point Cloud Sequences [20.697745449159097]
  動的3次元点雲列を処理するために,アンカー型時空間注意畳み込み演算(astaconv)を提案する。 提案する畳み込み操作は、各点の周囲に複数の仮想アンカーを設定することにより、各点の周囲にレギュラーレセプティブフィールドを構築する。 提案手法は,局所領域内の構造化情報をよりよく活用し,動的3次元点雲列から空間-時間埋め込み特徴を学習する。
  論文  参考訳（メタデータ） (2020-12-20T07:35:37Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。