論文の概要: Human Motion Transfer from Poses in the Wild

• arxiv url: http://arxiv.org/abs/2004.03142v1
• Date: Tue, 7 Apr 2020 05:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 00:16:57.951018
• Title: Human Motion Transfer from Poses in the Wild
• Title（参考訳）: 野生のポーズからの人間の移動
• Authors: Jian Ren, Menglei Chai, Sergey Tulyakov, Chen Fang, Xiaohui Shen, Jianchao Yang
• Abstract要約: 人間の動き伝達の問題に対処し、基準映像からの動きを模倣する対象人物のための新しい動き映像を合成する。 推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。 トレーニング中に見つからない線内ポーズシーケンスであっても、時間的に一貫性のある高品質なビデオを生成するための新しいポーズ・ツー・ビデオ翻訳フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 61.6016458288803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle the problem of human motion transfer, where we synthesize novel motion video for a target person that imitates the movement from a reference video. It is a video-to-video translation task in which the estimated poses are used to bridge two domains. Despite substantial progress on the topic, there exist several problems with the previous methods. First, there is a domain gap between training and testing pose sequences--the model is tested on poses it has not seen during training, such as difficult dancing moves. Furthermore, pose detection errors are inevitable, making the job of the generator harder. Finally, generating realistic pixels from sparse poses is challenging in a single step. To address these challenges, we introduce a novel pose-to-video translation framework for generating high-quality videos that are temporally coherent even for in-the-wild pose sequences unseen during training. We propose a pose augmentation method to minimize the training-test gap, a unified paired and unpaired learning strategy to improve the robustness to detection errors, and two-stage network architecture to achieve superior texture quality. To further boost research on the topic, we build two human motion datasets. Finally, we show the superiority of our approach over the state-of-the-art studies through extensive experiments and evaluations on different datasets.
• Abstract（参考訳）: 本稿では、人間の動き伝達の問題に取り組み、参照映像からの動きを模倣する対象人物のための新しい動き映像を合成する。 推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。 トピックの大幅な進歩にもかかわらず、以前の方法にはいくつかの問題がある。 まず、トレーニングとテストのポーズシーケンスの間にはドメインギャップがある — モデルは、難しいダンスの動きのように、トレーニング中に見られないポーズでテストされる。 さらに、ポーズ検出エラーは避けられないため、ジェネレータの動作が難しくなる。 最後に、スパースポーズからリアルなピクセルを生成することは、単一のステップで難しい。 そこで本稿では,これらの課題に対処するために,訓練中は見当たらないポーズシーケンスにおいても時間的に一貫性のある高品質ビデオを生成するための新しいポーズ・ビデオ翻訳フレームワークを提案する。 そこで本研究では,学習とテストのギャップを最小限に抑えるポーズ強化手法と,検出誤りに対するロバスト性を改善するための統合ペア化学習戦略と,テクスチャ品質の優れた2段階ネットワークアーキテクチャを提案する。 このトピックの研究をさらに進めるために、人間の動作データセットを2つ構築する。 最後に,様々なデータセットに対する広範囲な実験と評価を通じて,最先端の研究に対するアプローチの優位性を示す。

関連論文リスト

• Do As I Do: Pose Guided Human Motion Copy [39.40271266234068]
  モーションコピーは、人工知能とコンピュータビジョンにおいて興味深いが難しい課題だ。 既存のアプローチでは、通常、ターゲットのフェイクビデオを生成するために、L1またはL2損失の従来のGANを採用する。 連続学習を促進するために,ポーズ・ツー・アジュアンス生成におけるエピソード記憶モジュールを提案する。 提案手法は,PSNRとFIDをそれぞれ7.2%,12.4%改善した。
  論文  参考訳（メタデータ） (2024-06-24T12:41:51Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• On Development and Evaluation of Retargeting Human Motion and Appearance in Monocular Videos [2.870762512009438]
  人間の俳優のビデオ間の人間の動きと外観の転送は、コンピュータビジョンの重要な課題の1つです。 本稿では,競争性のある視覚品質を示すハイブリッドイメージベースレンダリング技術に基づく,新規かつ高性能なアプローチを提案する。 また,人間の動画を合成するタスクを評価するために,アノテートされた人間の動きと異なる映像からなる新しいビデオベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:17:41Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Single-Shot Freestyle Dance Reenactment [89.91619150027265]
  ソースダンサーと対象者との間の動き伝達のタスクは、ポーズ伝達問題の特別なケースである。 本稿では,任意の映像シーケンスで1つの画像を再識別できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-02T12:57:43Z)
• Towards Accurate Human Pose Estimation in Videos of Crowded Scenes [134.60638597115872]
  我々は、時間的文脈を利用して新しいデータを収集する視点から、混雑したシーンのビデオにおける人間のポーズ推定を改善することに注力する。 あるフレームについては、過去のフレームから過去のポーズを転送し、その後のフレームから現在のフレームへ未来的なポーズを後退させ、ビデオにおける安定した人間のポーズ推定に繋がる。 このようにして、HIEチャレンジのテストデータセット上で、13本中7本、56.33本の平均w_APで最高の性能を達成する。
  論文  参考訳（メタデータ） (2020-10-16T13:19:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。