論文の概要: Human Motion Transfer from Poses in the Wild

• arxiv url: http://arxiv.org/abs/2004.03142v1
• Date: Tue, 7 Apr 2020 05:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 00:16:57.951018
• Title: Human Motion Transfer from Poses in the Wild
• Title（参考訳）: 野生のポーズからの人間の移動
• Authors: Jian Ren, Menglei Chai, Sergey Tulyakov, Chen Fang, Xiaohui Shen, Jianchao Yang
• Abstract要約: 人間の動き伝達の問題に対処し、基準映像からの動きを模倣する対象人物のための新しい動き映像を合成する。 推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。 トレーニング中に見つからない線内ポーズシーケンスであっても、時間的に一貫性のある高品質なビデオを生成するための新しいポーズ・ツー・ビデオ翻訳フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 61.6016458288803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle the problem of human motion transfer, where we synthesize novel motion video for a target person that imitates the movement from a reference video. It is a video-to-video translation task in which the estimated poses are used to bridge two domains. Despite substantial progress on the topic, there exist several problems with the previous methods. First, there is a domain gap between training and testing pose sequences--the model is tested on poses it has not seen during training, such as difficult dancing moves. Furthermore, pose detection errors are inevitable, making the job of the generator harder. Finally, generating realistic pixels from sparse poses is challenging in a single step. To address these challenges, we introduce a novel pose-to-video translation framework for generating high-quality videos that are temporally coherent even for in-the-wild pose sequences unseen during training. We propose a pose augmentation method to minimize the training-test gap, a unified paired and unpaired learning strategy to improve the robustness to detection errors, and two-stage network architecture to achieve superior texture quality. To further boost research on the topic, we build two human motion datasets. Finally, we show the superiority of our approach over the state-of-the-art studies through extensive experiments and evaluations on different datasets.
• Abstract（参考訳）: 本稿では、人間の動き伝達の問題に取り組み、参照映像からの動きを模倣する対象人物のための新しい動き映像を合成する。 推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。 トピックの大幅な進歩にもかかわらず、以前の方法にはいくつかの問題がある。 まず、トレーニングとテストのポーズシーケンスの間にはドメインギャップがある — モデルは、難しいダンスの動きのように、トレーニング中に見られないポーズでテストされる。 さらに、ポーズ検出エラーは避けられないため、ジェネレータの動作が難しくなる。 最後に、スパースポーズからリアルなピクセルを生成することは、単一のステップで難しい。 そこで本稿では,これらの課題に対処するために,訓練中は見当たらないポーズシーケンスにおいても時間的に一貫性のある高品質ビデオを生成するための新しいポーズ・ビデオ翻訳フレームワークを提案する。 そこで本研究では,学習とテストのギャップを最小限に抑えるポーズ強化手法と,検出誤りに対するロバスト性を改善するための統合ペア化学習戦略と,テクスチャ品質の優れた2段階ネットワークアーキテクチャを提案する。 このトピックの研究をさらに進めるために、人間の動作データセットを2つ構築する。 最後に,様々なデータセットに対する広範囲な実験と評価を通じて,最先端の研究に対するアプローチの優位性を示す。

関連論文リスト

• Towards Robust and Realistic Human Pose Estimation via WiFi Signals [85.60557095666934]
  WiFiベースの人間のポーズ推定は、離散的で微妙なWiFi信号を人間の骨格にブリッジする難しいタスクである。 本論文は,本問題を再検討し,(1)ドメイン間ギャップ,(2)ソース・ターゲット領域のポーズ分布の顕著な変化,(2)骨格のポーズが歪んだトポロジーを示す構造的フィデリティギャップ,の2つの重要な問題を明らかにする。 本稿では,タスクをDT-Poseと呼ばれる新しい2段階のフレームワークに書き換えることで,これらのギャップを埋める:ドメイン一貫性表現学習とトポロジ制約ポスデコーディング。
  論文  参考訳（メタデータ） (2025-01-16T09:38:22Z)
• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• One-shot Human Motion Transfer via Occlusion-Robust Flow Prediction and Neural Texturing [21.613055849276385]
  マルチスケールな特徴ワーピングとニューラルテクスチャマッピングを組み合わせて、2Dの外観と2.5D形状を復元する統合フレームワークを提案する。 このモデルでは,複数モーダルを共同でトレーニングし,融合させることで,幾何的誤差に対処する頑健な神経テクスチャ特性を実現する。
  論文  参考訳（メタデータ） (2024-12-09T03:14:40Z)
• Do As I Do: Pose Guided Human Motion Copy [39.40271266234068]
  モーションコピーは、人工知能とコンピュータビジョンにおいて興味深いが難しい課題だ。 既存のアプローチでは、通常、ターゲットのフェイクビデオを生成するために、L1またはL2損失の従来のGANを採用する。 連続学習を促進するために,ポーズ・ツー・アジュアンス生成におけるエピソード記憶モジュールを提案する。 提案手法は,PSNRとFIDをそれぞれ7.2%,12.4%改善した。
  論文  参考訳（メタデータ） (2024-06-24T12:41:51Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Single-Shot Freestyle Dance Reenactment [89.91619150027265]
  ソースダンサーと対象者との間の動き伝達のタスクは、ポーズ伝達問題の特別なケースである。 本稿では,任意の映像シーケンスで1つの画像を再識別できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-02T12:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。