論文の概要: Temporal Residual Jacobians For Rig-free Motion Transfer

• arxiv url: http://arxiv.org/abs/2407.14958v1
• Date: Sat, 20 Jul 2024 18:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 19:58:07.186684
• Title: Temporal Residual Jacobians For Rig-free Motion Transfer
• Title（参考訳）: リグフリー・モーション・トランスファーのための時間的残留ジャコビアン
• Authors: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra,
• Abstract要約: データ駆動型モーショントランスファーを実現するための新しい表現としてResidual Temporal Jacobiansを紹介した。 我々の手法は、リギングや中間形状へのアクセスを前提とせず、幾何学的かつ時間的に一貫した動きを発生させ、長い動き列の転送に利用できる。
• 参考スコア（独自算出の注目度）: 45.640576754352104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .
• Abstract（参考訳）: 本稿では,データ駆動型動き伝達を実現するための新しい表現として,時間的残留ヤコビアンを紹介する。 我々の手法は、リギングや中間形状のキーフレームへのアクセスを前提とせず、幾何学的かつ時間的に一貫した動きを生成し、長い動き列の転送に使用できる。 我々のアプローチの中心は、最終的なアニメーションメッシュを生成するために、局所的な幾何学的変化と時間的変化を個別に予測する2つの結合ニューラルネットワークである。 2つのネットワークは共同で訓練され、空間的信号と時間的信号を生成するために互いに補完し、直接3D位置情報で管理される。 推論中、キーフレームがない場合、本手法は基本的に運動外挿問題の解法である。 そこで我々は,様々なメッシュ(合成およびスキャンされた形状)のセットアップを試行し,SoTAの代替品に対して,見えない身体形状のアニメーションをリアルかつ自然に生成する上で,その優位性を実証した。 補足ビデオとコードはhttps://temporaljacobians.github.io/で公開されている。

関連論文リスト

• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Correspondence-free online human motion retargeting [1.7008985510992145]
  本研究では,対象対象と対象対象者の動作とを一致させる,教師なし動作のためのデータ駆動型フレームワークを提案する。 本手法は,震源形状と震源形状の対応を必要とせず,震源運動の異なるフレーム間の時間的対応も必要としない。 これにより、ターゲットの形状を動き中の人間の任意のシーケンスでアニメーションすることができる。
  論文  参考訳（メタデータ） (2023-02-01T16:23:21Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
  本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。 提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。 大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
  論文  参考訳（メタデータ） (2020-08-24T02:11:02Z)
• MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency [72.82534577726334]
  モノクロビデオから3次元人間の骨格の動きを直接再構成するディープニューラルネットワークであるMotioNetを紹介した。 本手法は,動作表現を完全かつ一般的に使用するキネマティックスケルトンを直接出力する最初のデータ駆動型手法である。
  論文  参考訳（メタデータ） (2020-06-22T08:50:09Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。