論文の概要: Correspondence-free online human motion retargeting
- arxiv url: http://arxiv.org/abs/2302.00556v2
- Date: Mon, 4 Mar 2024 10:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 21:11:58.919009
- Title: Correspondence-free online human motion retargeting
- Title（参考訳）: 対応のないオンラインヒューマンモーションリターゲティング
- Authors: Rim Rekik, Mathieu Marsot, Anne-H\'el\`ene Olivier, Jean-S\'ebastien
Franco and Stefanie Wuhrer
- Abstract要約: 本研究では,対象対象と対象対象者の動作とを一致させる,教師なし動作のためのデータ駆動型フレームワークを提案する。
本手法は,震源形状と震源形状の対応を必要とせず,震源運動の異なるフレーム間の時間的対応も必要としない。
これにより、ターゲットの形状を動き中の人間の任意のシーケンスでアニメーションすることができる。
- 参考スコア（独自算出の注目度）: 1.7008985510992145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a data-driven framework for unsupervised human motion retargeting
that animates a target subject with the motion of a source subject. Our method
is correspondence-free, requiring neither spatial correspondences between the
source and target shapes nor temporal correspondences between different frames
of the source motion. This allows to animate a target shape with arbitrary
sequences of humans in motion, possibly captured using 4D acquisition platforms
or consumer devices. Our method unifies the advantages of two existing lines of
work, namely skeletal motion retargeting, which leverages long-term temporal
context, and surface-based retargeting, which preserves surface details, by
combining a geometry-aware deformation model with a skeleton-aware motion
transfer approach. This allows to take into account long-term temporal context
while accounting for surface details. During inference, our method runs online,
i.e. input can be processed in a serial way, and retargeting is performed in a
single forward pass per frame. Experiments show that including long-term
temporal context during training improves the method's accuracy for skeletal
motion and detail preservation. Furthermore, our method generalizes to
unobserved motions and body shapes. We demonstrate that our method achieves
state-of-the-art results on two test datasets and that it can be used to
animate human models with the output of a multi-view acquisition platform. Code
is available at
\url{https://gitlab.inria.fr/rrekikdi/human-motion-retargeting2023}.
- Abstract（参考訳）: 本稿では,対象対象者の運動を模倣する教師なしヒューマンモーションリターゲティングのためのデータ駆動フレームワークを提案する。
本手法では,ソースとターゲット形状の空間的対応や,ソースの異なるフレーム間の時間的対応は不要である。
これにより、移動中の人間の任意のシーケンスでターゲットの形状をアニメーション化することができ、おそらくは4d取得プラットフォームやコンシューマデバイスでキャプチャされる。
本手法は, 長期的時間的文脈を生かした骨格運動再ターゲティングと, 表面情報を保存する表面的再ターゲティングという2つの既存の作業ラインの利点を, 幾何学的変形モデルと骨格的動き伝達アプローチを組み合わせることで統合する。
これにより、表面的な詳細を考慮しながら、長期の時間的文脈を考慮に入れられる。
推論中、このメソッドはオンラインで実行され、つまり、入力は連続的に処理され、再ターゲティングはフレーム毎に1回のフォワードパスで実行される。
トレーニング中の長期の時間的文脈を含む実験は、骨格運動と詳細保存の精度を向上することを示した。
さらに, 非観察運動や身体形状に一般化する。
本手法は,2つのテストデータセットで最先端の結果を得ることができ,マルチビュー取得プラットフォームの出力で人間のモデルをアニメーション化できることを示す。
コードは \url{https://gitlab.inria.fr/rrekikdi/human-motion-retargeting2023} で利用可能である。
関連論文リスト
- Temporal Residual Jacobians For Rig-free Motion Transfer [45.640576754352104]
データ駆動型モーショントランスファーを実現するための新しい表現としてResidual Temporal Jacobiansを紹介した。
我々の手法は、リギングや中間形状へのアクセスを前提とせず、幾何学的かつ時間的に一貫した動きを発生させ、長い動き列の転送に利用できる。
論文 参考訳（メタデータ） (2024-07-20T18:29:22Z) - Space-Time Diffusion Features for Zero-Shot Text-Driven Motion Transfer [27.278989809466392]
本稿では,対象オブジェクトとシーンを記述する入力テキストプロンプトに準拠する動画を合成する,テキスト駆動型モーショントランスファーの新しい手法を提案する。
我々は、事前に訓練された、固定されたテキスト-ビデオ拡散モデルを活用し、生成および動きの先行情報を提供する。
論文 参考訳（メタデータ） (2023-11-28T18:03:27Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳（メタデータ） (2023-03-23T09:31:56Z) - Mutual Information-Based Temporal Difference Learning for Human Pose
Estimation in Video [16.32910684198013]
本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。
具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。
以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
論文 参考訳（メタデータ） (2023-03-15T09:29:03Z) - Real-time Controllable Motion Transition for Characters [14.88407656218885]
リアルタイムの動作生成はゲームでは普遍的に必要であり、既存のアニメーションパイプラインでは非常に望ましい。
我々のアプローチは、運動多様体と条件遷移という2つの重要な構成要素から構成される。
提案手法は,複数の測定基準の下で測定された高品質な動きを生成できることを示す。
論文 参考訳（メタデータ） (2022-05-05T10:02:54Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳（メタデータ） (2021-12-19T07:52:05Z) - JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion
Retargeting [53.28477676794658]
ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました
JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。
本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
論文 参考訳（メタデータ） (2021-06-17T17:32:32Z) - Multi-level Motion Attention for Human Motion Prediction [132.29963836262394]
本研究は, 関節, 身体部分, フルポーズレベルなど, 異なる種類の注意力の使用について検討した。
我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を検証した。
論文 参考訳（メタデータ） (2021-06-17T08:08:11Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳（メタデータ） (2020-08-24T02:11:02Z) - History Repeats Itself: Human Motion Prediction via Motion Attention [81.94175022575966]
注意に基づくフィードフォワードネットワークを導入し、人間の動きが自分自身を繰り返す傾向にあるという観察を明示的に活用する。
特に,現在動きのコンテキストと過去の動きのサブシーケンスの類似性を捉えるために,動きの注意を抽出することを提案する。
我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を実証した。
論文 参考訳（メタデータ） (2020-07-23T02:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。