論文の概要: 3DMotion-Net: Learning Continuous Flow Function for 3D Motion Prediction
- arxiv url: http://arxiv.org/abs/2006.13906v1
- Date: Wed, 24 Jun 2020 17:39:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 13:09:46.425151
- Title: 3DMotion-Net: Learning Continuous Flow Function for 3D Motion Prediction
- Title(参考訳): 3次元運動予測のための連続流関数の学習
- Authors: Shuaihang Yuan, Xiang Li, Anthony Tzes, Yi Fang
- Abstract要約: 本研究では,従来の2つの連続したフレームから3次元物体の3次元運動を予測する問題に対処する。
本稿では,ディープニューラルネットワークのパワーを活用して3次元点雲の連続流れ関数を学習する自己教師型アプローチを提案する。
D-FAUST,SCAPE,TOSCAベンチマークデータセットについて広範な実験を行い,本手法が時間的に一貫性のない入力を処理可能であることを示す。
- 参考スコア(独自算出の注目度): 12.323767993152968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we deal with the problem to predict the future 3D motions of
3D object scans from previous two consecutive frames. Previous methods mostly
focus on sparse motion prediction in the form of skeletons. While in this paper
we focus on predicting dense 3D motions in the from of 3D point clouds. To
approach this problem, we propose a self-supervised approach that leverages the
power of the deep neural network to learn a continuous flow function of 3D
point clouds that can predict temporally consistent future motions and
naturally bring out the correspondences among consecutive point clouds at the
same time. More specifically, in our approach, to eliminate the unsolved and
challenging process of defining a discrete point convolution on 3D point cloud
sequences to encode spatial and temporal information, we introduce a learnable
latent code to represent the temporal-aware shape descriptor which is optimized
during model training. Moreover, a temporally consistent motion Morpher is
proposed to learn a continuous flow field which deforms a 3D scan from the
current frame to the next frame. We perform extensive experiments on D-FAUST,
SCAPE and TOSCA benchmark data sets and the results demonstrate that our
approach is capable of handling temporally inconsistent input and produces
consistent future 3D motion while requiring no ground truth supervision.
- Abstract(参考訳): 本稿では,従来の2次元連続フレームからの3次元物体スキャンの将来の3次元動きを予測する問題に対処する。
以前の手法は主に骨格の形でのスパース動作予測に焦点を当てていた。
本稿では,3次元点雲からの密集した3次元運動の予測に着目する。
この問題に対処するために,深部ニューラルネットワークのパワーを活用して,時間的に一貫した将来の動きを予測し,連続する点雲間の対応を同時に自然に得る3次元点雲の連続フロー関数を学習する自己教師型アプローチを提案する。
具体的には,空間的および時間的情報をエンコードする3次元点列上の離散点畳み込みを定義する未解決かつ困難なプロセスを排除するために,モデルトレーニング中に最適化された時間的認識型形状記述子を表現するための学習可能な潜時符号を導入する。
さらに,現在のフレームから次のフレームへ3dスキャンを変形する連続流れ場を学習するために,時間的に一貫性のある運動モーファを提案する。
我々は,D-FAUST,SCAPE,TOSCAのベンチマークデータセットについて広範な実験を行い,本手法が時間的不整合入力を処理し,基礎的な真理の監督を必要とせず,一貫した未来の3D動作を生成することを示す。
関連論文リスト
- Future Does Matter: Boosting 3D Object Detection with Temporal Motion Estimation in Point Cloud Sequences [25.74000325019015]
クロスフレーム動作予測情報を用いた時空間特徴学習を容易にするために,新しいLiDAR 3Dオブジェクト検出フレームワークLiSTMを導入する。
我々は,本フレームワークが優れた3次元検出性能を実現することを示すため,アグリゲーションとnuScenesデータセットの実験を行った。
論文 参考訳(メタデータ) (2024-09-06T16:29:04Z) - Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。
textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。
SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文 参考訳(メタデータ) (2024-03-02T08:18:57Z) - Learning Spatial and Temporal Variations for 4D Point Cloud Segmentation [0.39373541926236766]
フレーム間の時間的情報は3次元シーンの知覚に重要な知識をもたらすと我々は主張する。
本研究では,4次元点雲の時間変動を捉えるために,時間変動対応モジュールと時間変化対応のボクセル点精製器を設計する。
論文 参考訳(メタデータ) (2022-07-11T07:36:26Z) - RCP: Recurrent Closest Point for Scene Flow Estimation on 3D Point
Clouds [44.034836961967144]
シーンフローや点雲の登録を含む3次元運動推定が注目されている。
最近の手法では、正確な3次元フローを推定するためのコストボリュームを構築するために、ディープニューラルネットワークを使用している。
問題を2つのインターレースステージに分解し、第1段階では3次元フローをポイントワイズに最適化し、第2段階ではリカレントネットワークでグローバルに正規化する。
論文 参考訳(メタデータ) (2022-05-23T04:04:30Z) - Self-supervised Point Cloud Prediction Using 3D Spatio-temporal
Convolutional Networks [27.49539859498477]
未来の点雲を予測するために、過去の3D LiDARスキャンをエクスプロイトすることは、自律的なモバイルシステムにとって有望な方法である。
本稿では,各3次元LiDARスキャンの2次元範囲画像表現を利用したエンドツーエンドアプローチを提案する。
我々は3次元畳み込みを用いたエンコーダデコーダアーキテクチャを開発し、シーンの空間情報と時間情報を共同で集約する。
論文 参考訳(メタデータ) (2021-09-28T19:58:13Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z) - Spatio-temporal Self-Supervised Representation Learning for 3D Point
Clouds [96.9027094562957]
ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。
幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。
STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
論文 参考訳(メタデータ) (2021-09-01T04:17:11Z) - Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。
ビデオの時間情報を利用して自己着脱モジュールを提案する。
本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
論文 参考訳(メタデータ) (2021-03-26T00:02:19Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z) - Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic
Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。
3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。
我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文 参考訳(メタデータ) (2020-08-04T13:56:19Z) - DeepTracking-Net: 3D Tracking with Unsupervised Learning of Continuous
Flow [12.690471276907445]
本論文は3次元追跡の問題,すなわち時間変化の連続した3次元形状における密度の高い対応を見つけることを扱う。
本稿では、ディープニューラルネットワーク(DNN)を補助機能として利用するDeepTracking-Netという、教師なし3次元形状のフレームワークを提案する。
さらに,SynMotionsと呼ばれる新しい合成3Dデータを3D追跡・認識コミュニティに準備する。
論文 参考訳(メタデータ) (2020-06-24T16:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。