論文の概要: Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent Dynamics from Volumetric Video

• arxiv url: http://arxiv.org/abs/2202.08418v1
• Date: Thu, 17 Feb 2022 02:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 14:27:24.691920
• Title: Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent Dynamics from Volumetric Video
• Title（参考訳）: Neural Marionette: ボリュームビデオからの運動骨格と潜在ダイナミクスの教師なし学習
• Authors: Jinseok Bae, Hojun Jang, Cheol-Hui Min, Hyungun Choi, Young Min Kim
• Abstract要約: 本稿では、動的シーケンスから骨格構造を検出する教師なしアプローチであるNeural Marionetteを提案する。 得られた構造は、4次元の運動列を表す骨格のハンドラベルされた基底真理にさえ匹敵するものであることを実証する。
• 参考スコア（独自算出の注目度）: 5.456297943378056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Neural Marionette, an unsupervised approach that discovers the skeletal structure from a dynamic sequence and learns to generate diverse motions that are consistent with the observed motion dynamics. Given a video stream of point cloud observation of an articulated body under arbitrary motion, our approach discovers the unknown low-dimensional skeletal relationship that can effectively represent the movement. Then the discovered structure is utilized to encode the motion priors of dynamic sequences in a latent structure, which can be decoded to the relative joint rotations to represent the full skeletal motion. Our approach works without any prior knowledge of the underlying motion or skeletal structure, and we demonstrate that the discovered structure is even comparable to the hand-labeled ground truth skeleton in representing a 4D sequence of motion. The skeletal structure embeds the general semantics of possible motion space that can generate motions for diverse scenarios. We verify that the learned motion prior is generalizable to the multi-modal sequence generation, interpolation of two poses, and motion retargeting to a different skeletal structure.
• Abstract（参考訳）: 神経マリオネット(neural marionette)は、動的シーケンスから骨格構造を発見し、観察された動きのダイナミクスと一致する多様な動きを生成するための教師なしアプローチである。 任意の運動下での関節物体の点雲観察のビデオストリームを考えると、運動を効果的に表現できる未知の低次元の骨格関係を発見できる。 次に、検出された構造を用いて、相対的な関節回転に復号して全骨格運動を表す潜在構造における動的シーケンスの運動前兆を符号化する。 提案手法は, 基礎となる運動や骨格構造についての事前の知識なく動作し, 得られた構造が, 4次元の運動列を表す場合に, ハンドラベルの接地真実骨格と同等であることを示す。 骨格構造は、様々なシナリオの運動を生成することができる運動空間の一般的な意味を埋め込む。 学習前の動作が多モードシーケンス生成、2つのポーズの補間、異なる骨格構造への動き再ターゲットに一般化可能であることを検証する。

関連論文リスト

• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• Generative Motion Stylization of Cross-structure Characters within Canonical Motion Space [28.628241993271647]
  本研究では,多種多様かつ多種多様な構造体上での動作に対して,モーションスタイリングパイプライン(MotionS)を提案する。 私たちの重要な洞察は、モーションスタイルをモダリティのラテント空間に埋め込むことで、標準モーション空間内でのモーションスタイリングを可能にします。
  論文  参考訳（メタデータ） (2024-03-18T04:41:59Z)
• Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening [59.88594294676711]
  現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。 テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。 挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2022-10-09T16:15:34Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• GANimator: Neural Motion Synthesis from a Single Sequence [38.361579401046875]
  本稿では,1つの短い動き列から新しい動きを合成することを学ぶ生成モデルであるGANimatorを提案する。 GANimatorはオリジナルの動きのコア要素に類似した動きを生成し、同時に新規で多様な動きを合成する。 クラウドシミュレーション,キーフレーム編集,スタイル転送,対話型制御など,さまざまな応用例を示し,それぞれが単一の入力シーケンスから学習する。
  論文  参考訳（メタデータ） (2022-05-05T13:04:14Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• A Hierarchy-Aware Pose Representation for Deep Character Animation [2.47343886645587]
  深層キャラクタアニメーションに適した動きモデリングのための頑健なポーズ表現を提案する。 我々の表現は、回転方向と位置方向を同時にエンコードする、よく定義された演算を持つ数学的抽象化である二重四元数に基づいている。 我々の表現は共通の動きを克服し、他の一般的な表現と比較してその性能を評価する。
  論文  参考訳（メタデータ） (2021-11-27T14:33:24Z)
• Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
  本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。 提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。 大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
  論文  参考訳（メタデータ） (2020-08-24T02:11:02Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。