論文の概要: CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations
- arxiv url: http://arxiv.org/abs/2008.02792v2
- Date: Wed, 11 Nov 2020 19:00:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 06:55:28.641067
- Title: CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations
- Title(参考訳): CaSPR: 標準時空間クラウド表現の学習
- Authors: Davis Rempe, Tolga Birdal, Yongheng Zhao, Zan Gojcic, Srinath Sridhar,
Leonidas J. Guibas
- Abstract要約: 本研究では,動的あるいは動いた物体の標準点クラウド表現を学習する手法を提案する。
本稿では, 形状再構成, カメラポーズ推定, 連続時間列再構成, 対応推定など, 様々な応用における本手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 72.4716073597902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose CaSPR, a method to learn object-centric Canonical Spatiotemporal
Point Cloud Representations of dynamically moving or evolving objects. Our goal
is to enable information aggregation over time and the interrogation of object
state at any spatiotemporal neighborhood in the past, observed or not.
Different from previous work, CaSPR learns representations that support
spacetime continuity, are robust to variable and irregularly spacetime-sampled
point clouds, and generalize to unseen object instances. Our approach divides
the problem into two subtasks. First, we explicitly encode time by mapping an
input point cloud sequence to a spatiotemporally-canonicalized object space. We
then leverage this canonicalization to learn a spatiotemporal latent
representation using neural ordinary differential equations and a generative
model of dynamically evolving shapes using continuous normalizing flows. We
demonstrate the effectiveness of our method on several applications including
shape reconstruction, camera pose estimation, continuous spatiotemporal
sequence reconstruction, and correspondence estimation from irregularly or
intermittently sampled observations.
- Abstract(参考訳): 本研究では,オブジェクト中心の正準時空間的点クラウド表現を学習するcasprを提案する。
我々の目標は,過去における時空間的近傍における時間的情報集約と対象状態の問合せを可能にすることである。
以前の作業と異なり、casprは時空連続性をサポートする表現を学習し、可変かつ不規則に時空サンプリングされた点雲に頑健であり、目に見えないオブジェクトインスタンスに一般化する。
我々のアプローチは問題を2つのサブタスクに分割する。
まず,入力点雲列を時空間カノニカル化対象空間にマッピングすることにより,時刻を明示的に符号化する。
この正規化を利用して、ニューラル常微分方程式と連続正規化フローを用いた動的に変化する形状の生成モデルを用いて時空間潜在表現を学習する。
本研究では, 形状再構成, カメラポーズ推定, 連続時空間配列再構成, 不規則または断続的なサンプル観察からの対応推定など, 様々な応用における本手法の有効性を実証する。
関連論文リスト
- TPP-Gaze: Modelling Gaze Dynamics in Space and Time with Neural Temporal Point Processes [63.95928298690001]
ニューラル・テンポラル・ポイント・プロセス(TPP)に基づく新規かつ原則化されたスキャンパスダイナミクスのアプローチであるTPP-Gazeを提案する。
提案手法は,最先端手法と比較して総合的に優れた性能を示す。
論文 参考訳(メタデータ) (2024-10-30T19:22:38Z) - Surgformer: Surgical Transformer with Hierarchical Temporal Attention for Surgical Phase Recognition [7.682613953680041]
本稿では,空間時間モデルと冗長性の問題に終末的に対処する手術用トランスフォーマー(サージフォーマー)を提案する。
提案するサージフォーマーは,最先端の手法に対して良好に機能することを示す。
論文 参考訳(メタデータ) (2024-08-07T16:16:31Z) - Space and Time Continuous Physics Simulation From Partial Observations [0.0]
大規模機械学習に基づくデータ駆動方式は、より直接的かつ効率的に長距離依存関係を統合することにより、高い適応性を約束する。
我々は流体力学に焦点をあて、正規格子や不規則格子の形で計算と予測の固定的サポートに基づく文献の大部分の欠点に対処する。
本研究では,空間的・時間的領域の連続的な領域において,スパース観測を訓練しながら予測を行う新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-17T13:24:04Z) - Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。
グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。
時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文 参考訳(メタデータ) (2024-01-12T15:05:08Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-02T12:04:28Z) - PSTNet: Point Spatio-Temporal Convolution on Point Cloud Sequences [51.53563462897779]
本稿では,ポイントクラウドシーケンスの情報表現を実現するために,PST畳み込みを提案する。
PSTは3次元空間における局所的構造点を捉えるために空間畳み込みを用い、時間次元に沿った空間領域のダイナミクスをモデル化するために時間畳み込みを用いる。
提案したPST畳み込みを深層ネットワーク,すなわちPSTNetに組み込んで,階層的に点群列の特徴を抽出する。
論文 参考訳(メタデータ) (2022-05-27T02:14:43Z) - TPCN: Temporal Point Cloud Networks for Motion Forecasting [47.829152433166016]
軌道予測のための空間的・時間的共同学習フレームワークを提案する。
空間的次元ではエージェントは無秩序な点集合と見なすことができ、したがってエージェントの位置をモデル化するためにポイントクラウド学習技術を適用することは容易である。
Argoverse運動予測ベンチマークの実験は、私たちのアプローチが最先端の結果を達成することを示しています。
論文 参考訳(メタデータ) (2021-03-04T14:44:32Z) - Unsupervised Learning of Global Registration of Temporal Sequence of
Point Clouds [16.019588704177288]
点雲のグローバルな登録は、2次元または3次元の点集合の配列の最適なアライメントを見つけることを目的としている。
本稿では,現在ある深層学習技術を利用して,点雲の時間的シーケンスからグローバルな登録を教師なし学習する手法を提案する。
論文 参考訳(メタデータ) (2020-06-17T06:00:36Z) - Dynamic Point Cloud Denoising via Manifold-to-Manifold Distance [24.174744253496513]
動的点雲を時空間グラフ上で自然に表現し、基底面(多様体)に対する時間的一貫性を利用する。
我々は、所望の点雲と基礎となるグラフ表現の合同最適化として、動的点雲デノイングを定式化する。
実験結果から,提案手法は,最先端の静的クラウドデノナイズ手法から,各フレームの独立デノナイズを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2020-03-17T04:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。