論文の概要: Do As I Do: Pose Guided Human Motion Copy

• arxiv url: http://arxiv.org/abs/2406.16601v1
• Date: Mon, 24 Jun 2024 12:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:54:27.331499
• Title: Do As I Do: Pose Guided Human Motion Copy
• Title（参考訳）: 人間の動きのコピーを撮ってみた!(動画あり)
• Authors: Sifan Wu, Zhenguang Liu, Beibei Zhang, Roger Zimmermann, Zhongjie Ba, Xiaosong Zhang, Kui Ren,
• Abstract要約: モーションコピーは、人工知能とコンピュータビジョンにおいて興味深いが難しい課題だ。 既存のアプローチでは、通常、ターゲットのフェイクビデオを生成するために、L1またはL2損失の従来のGANを採用する。 連続学習を促進するために,ポーズ・ツー・アジュアンス生成におけるエピソード記憶モジュールを提案する。 提案手法は,PSNRとFIDをそれぞれ7.2%,12.4%改善した。
• 参考スコア（独自算出の注目度）: 39.40271266234068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human motion copy is an intriguing yet challenging task in artificial intelligence and computer vision, which strives to generate a fake video of a target person performing the motion of a source person. The problem is inherently challenging due to the subtle human-body texture details to be generated and the temporal consistency to be considered. Existing approaches typically adopt a conventional GAN with an L1 or L2 loss to produce the target fake video, which intrinsically necessitates a large number of training samples that are challenging to acquire. Meanwhile, current methods still have difficulties in attaining realistic image details and temporal consistency, which unfortunately can be easily perceived by human observers. Motivated by this, we try to tackle the issues from three aspects: (1) We constrain pose-to-appearance generation with a perceptual loss and a theoretically motivated Gromov-Wasserstein loss to bridge the gap between pose and appearance. (2) We present an episodic memory module in the pose-to-appearance generation to propel continuous learning that helps the model learn from its past poor generations. We also utilize geometrical cues of the face to optimize facial details and refine each key body part with a dedicated local GAN. (3) We advocate generating the foreground in a sequence-to-sequence manner rather than a single-frame manner, explicitly enforcing temporal inconsistency. Empirical results on five datasets, iPER, ComplexMotion, SoloDance, Fish, and Mouse datasets, demonstrate that our method is capable of generating realistic target videos while precisely copying motion from a source video. Our method significantly outperforms state-of-the-art approaches and gains 7.2% and 12.4% improvements in PSNR and FID respectively.
• Abstract（参考訳）: 人間のモーションコピーは、人工知能とコンピュータビジョンにおいて興味深いが、難しい課題である。 この問題は、微妙な人体テクスチャの詳細と時間的一貫性が考慮されるため、本質的に困難である。 既存のアプローチでは、通常、目標とするフェイクビデオを生成するために、L1またはL2損失の従来のGANを採用する。 一方、現在の手法は、人間の観察者が容易に認識できる現実的な画像の詳細と時間的一貫性を達成するのに依然として困難である。 本研究の目的は,(1)知覚的損失を伴うポーズ・ツー・アジェランス生成と,Gromov-Wasserstein損失を理論的に動機づけることで,ポーズと外観のギャップを埋めることである。 2) モデルが過去の貧しい世代から学習するのに役立つ連続学習を促進するために, ポーズ・ツー・アジュアンス・ジェネレーションにおけるエピソード記憶モジュールを提案する。 また、顔の幾何学的手がかりを利用して、顔の詳細を最適化し、各キーボディ部分を専用のローカルGANで洗練する。 (3) 時間的不整合を明示する単一フレーム方式ではなく,シーケンス・ツー・シーケンス方式で前景を生成することを提唱する。 iPER, ComplexMotion, SoloDance, Fish, Mouse の5つのデータセットに対する実験結果から,本手法は音源映像から動きを正確にコピーしながらリアルなターゲット映像を生成することができることを示した。 提案手法は,PSNRとFIDをそれぞれ7.2%,12.4%改善した。

関連論文リスト

• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• Masked Motion Encoding for Self-Supervised Video Representation Learning [84.24773072241945]
  Masked Motion MMEは、外観情報と動作情報の両方を再構成し、時間的手がかりを探索する新しい事前学習パラダイムである。 物体の位置変化や形状変化を追跡することで、人間が行動を認識することができるという事実を動機として、マスク領域におけるこれらの2種類の変化を表す運動軌跡を再構築することを提案する。 我々のMMEパラダイムで事前訓練されたモデルでは、長期的かつきめ細かな動きの詳細を予測できる。
  論文  参考訳（メタデータ） (2022-10-12T11:19:55Z)
• Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
  人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。 現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。 本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。 本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
  論文  参考訳（メタデータ） (2022-05-03T08:45:22Z)
• Image Comes Dancing with Collaborative Parsing-Flow Video Synthesis [124.48519390371636]
  人の動きをソースから対象人物に転送することは、コンピュータビジョンやグラフィックアプリケーションにおいて大きな可能性を秘めている。 これまでは、人工的な3Dモデルに頼っていたり、ターゲットごとに個別のモデルを訓練していた。 本研究は,ソース映像から対象人物への動きを同期的に伝達する単一モデルを学習することを目的とした,より一般的な設定について研究する。
  論文  参考訳（メタデータ） (2021-10-27T03:42:41Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
  マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。 アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
  論文  参考訳（メタデータ） (2020-09-22T07:35:33Z)
• Human Motion Transfer from Poses in the Wild [61.6016458288803]
  人間の動き伝達の問題に対処し、基準映像からの動きを模倣する対象人物のための新しい動き映像を合成する。 推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。 トレーニング中に見つからない線内ポーズシーケンスであっても、時間的に一貫性のある高品質なビデオを生成するための新しいポーズ・ツー・ビデオ翻訳フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T05:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。