論文の概要: On Exploring PDE Modeling for Point Cloud Video Representation Learning

• arxiv url: http://arxiv.org/abs/2404.04720v2
• Date: Wed, 29 May 2024 15:01:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 22:52:03.766055
• Title: On Exploring PDE Modeling for Point Cloud Video Representation Learning
• Title（参考訳）: ポイントクラウド映像表現学習のためのPDEモデリングの検討
• Authors: Zhuoxu Huang, Zhenkun Fan, Tao Xu, Jungong Han,
• Abstract要約: 我々は、PointNetライクなエンコーダとPDE解決モジュールで構成されるMotion PointNetを紹介する。 私たちのMotion PointNetは、MSRAction-3Dデータセットで97.52%の精度を実現しています。
• 参考スコア（独自算出の注目度）: 48.02197741709501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud video representation learning is challenging due to complex structures and unordered spatial arrangement. Traditional methods struggle with frame-to-frame correlations and point-wise correspondence tracking. Recently, partial differential equations (PDE) have provided a new perspective in uniformly solving spatial-temporal data information within certain constraints. While tracking tangible point correspondence remains challenging, we propose to formalize point cloud video representation learning as a PDE-solving problem. Inspired by fluid analysis, where PDEs are used to solve the deformation of spatial shape over time, we employ PDE to solve the variations of spatial points affected by temporal information. By modeling spatial-temporal correlations, we aim to regularize spatial variations with temporal features, thereby enhancing representation learning in point cloud videos. We introduce Motion PointNet composed of a PointNet-like encoder and a PDE-solving module. Initially, we construct a lightweight yet effective encoder to model an initial state of the spatial variations. Subsequently, we develop our PDE-solving module in a parameterized latent space, tailored to address the spatio-temporal correlations inherent in point cloud video. The process of solving PDE is guided and refined by a contrastive learning structure, which is pivotal in reshaping the feature distribution, thereby optimizing the feature representation within point cloud video data. Remarkably, our Motion PointNet achieves an impressive accuracy of 97.52% on the MSRAction-3D dataset, surpassing the current state-of-the-art in all aspects while consuming minimal resources (only 0.72M parameters and 0.82G FLOPs).
• Abstract（参考訳）: 複雑な構造と秩序のない空間配置のため、ポイントクラウドビデオ表現学習は困難である。 従来の手法はフレーム・ツー・フレームの相関やポイント・ワイド対応追跡に苦慮している。 近年、偏微分方程式(PDE)は、特定の制約の中で空間的時間的データ情報を均一に解く新しい視点を提供する。 有形点対応の追跡は依然として困難であるが,PDE解決問題としてポイントクラウド映像表現学習の形式化を提案する。 PDEは時間とともに空間形状の変形を解くために使用される流体解析にインスパイアされ、時間的情報によって影響を受ける空間点の変動を解決するためにPDEを用いている。 空間的時間的相関をモデル化することにより、時間的特徴と空間的変動を規則化し、ポイントクラウドビデオにおける表現学習を強化することを目指す。 我々は、PointNetライクなエンコーダとPDE解決モジュールで構成されるMotion PointNetを紹介する。 当初,空間変動の初期状態をモデル化する軽量で効果的なエンコーダを構築した。 その後,PDE分解モジュールをパラメータ化潜在空間で開発し,ポイントクラウドビデオに固有の時空間相関に対処する。 PDEの解法は、特徴分布の変換において重要なコントラスト学習構造により導かれ、洗練され、ポイントクラウドビデオデータ内の特徴表現が最適化される。 注目すべきは、Motion PointNetがMSRAction-3Dデータセットで97.52%という驚くべき精度を達成したことです。

関連論文リスト

• Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
  3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
  論文  参考訳（メタデータ） (2024-03-02T08:18:57Z)
• Learning Dynamic Point Cloud Compression via Hierarchical Inter-frame Block Matching [35.80653765524654]
  3Dダイナミックポイントクラウド(DPC)圧縮は、その時間的コンテキストのマイニングに依存している。 本稿では,階層的ブロックマッチングに基づく予測モジュールを用いた学習型DPC圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-09T11:44:13Z)
• Implicit Neural Spatial Representations for Time-dependent PDEs [29.404161110513616]
  Inlicit Neural Spatial Representation (INSR) は空間依存ベクトル場の効果的な表現として登場した。 本研究は,INSRを用いた時間依存型PDEの解法について検討する。
  論文  参考訳（メタデータ） (2022-09-30T22:46:40Z)
• IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment [58.8330387551499]
  我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。 本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。 各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-03-22T10:14:08Z)
• PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs [8.220908558735884]
  偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。 近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。 本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
  論文  参考訳（メタデータ） (2021-06-26T22:22:19Z)
• Shape As Points: A Differentiable Poisson Solver [118.12466580918172]
  本稿では,ポアソン表面再構成 (PSR) の微分可能な定式化を用いた,微分可能な点間メッシュ層を提案する。 微分可能なPSR層は、暗示指標場を介して、明示的な3D点表現を3Dメッシュに効率よく、かつ、差別的にブリッジすることができる。 ニューラル暗黙の表現と比較して、私たちのシェープ・アズ・ポイント(SAP)モデルはより解釈可能で、軽量で、1桁の推論時間を加速します。
  論文  参考訳（メタデータ） (2021-06-07T09:28:38Z)
• CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations [72.4716073597902]
  本研究では,動的あるいは動いた物体の標準点クラウド表現を学習する手法を提案する。 本稿では, 形状再構成, カメラポーズ推定, 連続時間列再構成, 対応推定など, 様々な応用における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-06T17:58:48Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。