論文の概要: Spatio-temporal motion completion using a sequence of latent primitives

• arxiv url: http://arxiv.org/abs/2206.13142v1
• Date: Mon, 27 Jun 2022 09:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 15:08:12.638253
• Title: Spatio-temporal motion completion using a sequence of latent primitives
• Title（参考訳）: 潜在性プリミティブ列を用いた時空間運動完了
• Authors: Mathieu Marsot, Stefanie Wuhrer, Jean-Sebastien Franco, Anne H\'el\`ene Olivier
• Abstract要約: 我々は、時間とともに変形するアクターの時間的コヒーレントな4D表現を、追跡されていない3D点雲のサンプルシーケンスから計算する。 本研究では,本手法が最先端の動作先行よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.4807704685689247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a markerless performance capture method that computes a temporally coherent 4D representation of an actor deforming over time from a sparsely sampled sequence of untracked 3D point clouds. Our method proceeds by latent optimization with a spatio-temporal motion prior. Recently, task generic motion priors have been introduced and propose a coherent representation of human motion based on a single latent code, with encouraging results with short sequences and given temporal correspondences. Extending these methods to longer sequences without correspondences is all but straightforward. One latent code proves inefficient to encode longer term variability, and latent space optimization will be very susceptible to erroneous local minima due to possible inverted pose fittings. We address both problems by learning a motion prior that encodes a 4D human motion sequence into a sequence of latent primitives instead of one latent code. We also propose an additional mapping encoder which directly projects a sequence of point clouds into the learned latent space to provide a good initialization of the latent representation at inference time. Our temporal decoding from latent space is implicit and continuous in time, providing flexibility with temporal resolution. We show experimentally that our method outperforms state-of-the-art motion priors.
• Abstract（参考訳）: 本研究では,追跡されていない3次元点雲のスパースサンプリング列から時間とともに変形するアクタの時間的コヒーレントな4次元表現を計算するマーカーレスパフォーマンスキャプチャ手法を提案する。 本手法は時空間運動に先行して潜在最適化を行う。 近年,タスク・ジェネリック・モーション・プリエントが導入され,単一の潜在コードに基づく人間の動作のコヒーレント表現が提案されている。 これらのメソッドを対応のない長いシーケンスに拡張するのは、ほとんど単純です。 ある潜伏符号は、長期の変動性を符号化する非効率さを証明し、潜伏空間最適化は、逆ポーズフィッティングの可能性があるため、誤った局所ミニマの影響を受けやすい。 4次元の人間の動き列を1つの潜在コードではなく、潜伏するプリミティブのシーケンスにエンコードする動きを事前に学習することで、両方の問題に対処する。 また,学習した潜在空間に直接点雲の列を投影し,推論時の潜在表現の優れた初期化を提供するマッピングエンコーダを提案する。 潜時空間からの時間復号は暗黙的かつ連続的であり、時間分解能の柔軟性を提供する。 本手法が最先端動作よりも優れていることを実験的に示す。

関連論文リスト

• ReMP: Reusable Motion Prior for Multi-domain 3D Human Pose Estimation and Motion Inbetweening [10.813269931915364]
  我々は人体形状の完全なパラメトリックモデルの前列からリッチな動きを学習する。 我々の前者は、フレーム不足やノイズ測定で簡単にポーズを推定できる。 ReMPは、多種多様な実用的な3Dモーションデータに基づくベースライン法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-11-13T02:42:07Z)
• Temporal Residual Jacobians For Rig-free Motion Transfer [45.640576754352104]
  データ駆動型モーショントランスファーを実現するための新しい表現としてResidual Temporal Jacobiansを紹介した。 我々の手法は、リギングや中間形状へのアクセスを前提とせず、幾何学的かつ時間的に一貫した動きを発生させ、長い動き列の転送に利用できる。
  論文  参考訳（メタデータ） (2024-07-20T18:29:22Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
  そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。 既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。 動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
  論文  参考訳（メタデータ） (2023-12-07T04:39:22Z)
• DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
  そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。 入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
  論文  参考訳（メタデータ） (2023-03-27T00:40:52Z)
• P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation [78.83305967085413]
  本稿では,2次元から3次元のポーズ推定作業のためのP-STMOモデルを提案する。 提案手法は,パラメータが少なく,計算オーバーヘッドが少なく,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-03-15T04:00:59Z)
• Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
  複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。 提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
  論文  参考訳（メタデータ） (2020-11-08T10:40:26Z)
• 3DMotion-Net: Learning Continuous Flow Function for 3D Motion Prediction [12.323767993152968]
  本研究では,従来の2つの連続したフレームから3次元物体の3次元運動を予測する問題に対処する。 本稿では,ディープニューラルネットワークのパワーを活用して3次元点雲の連続流れ関数を学習する自己教師型アプローチを提案する。 D-FAUST,SCAPE,TOSCAベンチマークデータセットについて広範な実験を行い,本手法が時間的に一貫性のない入力を処理可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-24T17:39:19Z)
• A Real-time Action Representation with Temporal Encoding and Deep Compression [115.3739774920845]
  動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。 T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。 提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-06-17T06:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。