論文の概要: Pose-to-Motion: Cross-Domain Motion Retargeting with Pose Prior

• arxiv url: http://arxiv.org/abs/2310.20249v1
• Date: Tue, 31 Oct 2023 08:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:12:56.131218
• Title: Pose-to-Motion: Cross-Domain Motion Retargeting with Pose Prior
• Title（参考訳）: Pose-to-Motion: Pose Priorによるクロスドメインモーションリターゲティング
• Authors: Qingqing Zhao and Peizhuo Li and Wang Yifan and Olga Sorkine-Hornung and Gordon Wetzstein
• Abstract要約: 現在の学習に基づく動き合成法は、広範囲な動きデータセットに依存する。 ポーズデータは作成が容易で、画像から抽出することもできるため、よりアクセスしやすい。 提案手法は,他のキャラクタの既存のモーションキャプチャーデータセットから動きを転送することで,データのみをポーズするキャラクタに対する可塑性モーションを生成する。
• 参考スコア（独自算出の注目度）: 48.104051952928465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating believable motions for various characters has long been a goal in computer graphics. Current learning-based motion synthesis methods depend on extensive motion datasets, which are often challenging, if not impossible, to obtain. On the other hand, pose data is more accessible, since static posed characters are easier to create and can even be extracted from images using recent advancements in computer vision. In this paper, we utilize this alternative data source and introduce a neural motion synthesis approach through retargeting. Our method generates plausible motions for characters that have only pose data by transferring motion from an existing motion capture dataset of another character, which can have drastically different skeletons. Our experiments show that our method effectively combines the motion features of the source character with the pose features of the target character, and performs robustly with small or noisy pose data sets, ranging from a few artist-created poses to noisy poses estimated directly from images. Additionally, a conducted user study indicated that a majority of participants found our retargeted motion to be more enjoyable to watch, more lifelike in appearance, and exhibiting fewer artifacts. Project page: https://cyanzhao42.github.io/pose2motion
• Abstract（参考訳）: 様々なキャラクターのための信じられるモーションを作成することは、コンピュータグラフィックスにおける長年の目標である。 現在の学習に基づく動き合成法は広範囲な動きデータセットに依存しており、多くの場合、不可能ではないとしても得ることは困難である。 一方で、静的なポーズ文字の作成が容易で、最近のコンピュータビジョンの進歩を利用して画像から抽出することもできるため、ポーズデータはよりアクセスしやすい。 本稿では,この代替データ源を用いて,再ターゲティングによるニューラルモーション合成手法を提案する。 本手法では,既存の動きキャプチャデータセットから動きを移動させることにより,ポーズデータのみを持つ文字に対して,推定可能な動きを生成する。 提案手法は,音源キャラクタの動作特徴と対象キャラクタのポーズ特徴とを効果的に結合し,画像から直接推定される,少数のアーティストが作成したポーズからうるさいポーズまで,小さくて騒がしいポーズデータセットと頑健に実行可能であることを示す。 さらに、調査対象者の大多数が、リターゲティングされた動きをより楽しむことができ、外観が生活に似ており、アーティファクトが少ないことに気付きました。 プロジェクトページ: https://cyanzhao42.github.io/pose2motion

関連論文リスト

• FreeMotion: MoCap-Free Human Motion Synthesis with Multimodal Large Language Models [19.09048969615117]
  MLLMをベースとしたユーザ制御信号として自然言語命令を用いたオープンなヒューマンモーション合成について検討する。 本手法は,多くの下流タスクにおいて,一般的な人間の動作合成を実現することができる。
  論文  参考訳（メタデータ） (2024-06-15T21:10:37Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video [16.32910684198013]
  本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。 具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。 以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
  論文  参考訳（メタデータ） (2023-03-15T09:29:03Z)
• A Hierarchy-Aware Pose Representation for Deep Character Animation [2.47343886645587]
  深層キャラクタアニメーションに適した動きモデリングのための頑健なポーズ表現を提案する。 我々の表現は、回転方向と位置方向を同時にエンコードする、よく定義された演算を持つ数学的抽象化である二重四元数に基づいている。 我々の表現は共通の動きを克服し、他の一般的な表現と比較してその性能を評価する。
  論文  参考訳（メタデータ） (2021-11-27T14:33:24Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Human Motion Transfer from Poses in the Wild [61.6016458288803]
  人間の動き伝達の問題に対処し、基準映像からの動きを模倣する対象人物のための新しい動き映像を合成する。 推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。 トレーニング中に見つからない線内ポーズシーケンスであっても、時間的に一貫性のある高品質なビデオを生成するための新しいポーズ・ツー・ビデオ翻訳フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T05:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。