論文の概要: High-Fidelity Neural Human Motion Transfer from Monocular Video
- arxiv url: http://arxiv.org/abs/2012.10974v1
- Date: Sun, 20 Dec 2020 16:54:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 04:44:47.938469
- Title: High-Fidelity Neural Human Motion Transfer from Monocular Video
- Title（参考訳）: 単眼ビデオからの高忠実性ニューラルヒューマンモーショントランスファー
- Authors: Moritz Kappel and Vladislav Golyanik and Mohamed Elgharib and Jann-Ole
Henningson and Hans-Peter Seidel and Susana Castillo and Christian Theobalt
and Marcus Magnor
- Abstract要約: ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
- 参考スコア（独自算出の注目度）: 71.75576402562247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-based human motion transfer creates video animations of humans
following a source motion. Current methods show remarkable results for
tightly-clad subjects. However, the lack of temporally consistent handling of
plausible clothing dynamics, including fine and high-frequency details,
significantly limits the attainable visual quality. We address these
limitations for the first time in the literature and present a new framework
which performs high-fidelity and temporally-consistent human motion transfer
with natural pose-dependent non-rigid deformations, for several types of loose
garments. In contrast to the previous techniques, we perform image generation
in three subsequent stages, synthesizing human shape, structure, and
appearance. Given a monocular RGB video of an actor, we train a stack of
recurrent deep neural networks that generate these intermediate representations
from 2D poses and their temporal derivatives. Splitting the difficult motion
transfer problem into subtasks that are aware of the temporal motion context
helps us to synthesize results with plausible dynamics and pose-dependent
detail. It also allows artistic control of results by manipulation of
individual framework stages. In the experimental results, we significantly
outperform the state-of-the-art in terms of video realism. Our code and data
will be made publicly available.
- Abstract（参考訳）: 映像に基づく人間の動き伝達は、映像のアニメーションを生成する。
現在の方法では, 密着した被験者に顕著な結果が得られた。
しかし、細部や高周波の細部を含む、妥当な衣服力学の時間的一貫性の欠如は、到達可能な視覚品質を著しく制限している。
本稿では,これらの制約に初めて対処し,様々な種類のゆるい衣服に対して,自然のポーズ依存非剛性変形を伴う高忠実かつ時間的に連続した人の動き伝達を行う新しい枠組みを提案する。
従来の手法とは対照的に,人間の形状,構造,外観を合成し,その後の3段階で画像生成を行う。
アクターの単眼的なRGBビデオが与えられた場合、我々は2Dポーズとその時間微分からこれらの中間表現を生成する一連の深層ニューラルネットワークを訓練する。
時間的動きの文脈を認識したサブタスクに難しい動き伝達問題を分割することは、プラウシブルなダイナミクスとポーズ依存の詳細で結果を合成するのに役立ちます。
個々のフレームワークステージを操作することで、結果の芸術的なコントロールも可能になる。
実験結果では,映像リアリズムの観点から,最先端技術よりも優れていた。
私たちのコードとデータは公開されます。
関連論文リスト
- Do As I Do: Pose Guided Human Motion Copy [39.40271266234068]
モーションコピーは、人工知能とコンピュータビジョンにおいて興味深いが難しい課題だ。
既存のアプローチでは、通常、ターゲットのフェイクビデオを生成するために、L1またはL2損失の従来のGANを採用する。
連続学習を促進するために,ポーズ・ツー・アジュアンス生成におけるエピソード記憶モジュールを提案する。
提案手法は,PSNRとFIDをそれぞれ7.2%,12.4%改善した。
論文 参考訳（メタデータ） (2024-06-24T12:41:51Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - Dance In the Wild: Monocular Human Animation with Neural Dynamic
Appearance Synthesis [56.550999933048075]
そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。
動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。
提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-11-10T20:18:57Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。
本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。
実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
論文 参考訳（メタデータ） (2020-12-10T09:09:38Z) - Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。
既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。
我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。
我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
論文 参考訳（メタデータ） (2020-12-07T15:38:29Z) - Human Motion Transfer from Poses in the Wild [61.6016458288803]
人間の動き伝達の問題に対処し、基準映像からの動きを模倣する対象人物のための新しい動き映像を合成する。
推定ポーズを用いて2つのドメインをブリッジするビデオ間翻訳タスクである。
トレーニング中に見つからない線内ポーズシーケンスであっても、時間的に一貫性のある高品質なビデオを生成するための新しいポーズ・ツー・ビデオ翻訳フレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-07T05:59:53Z) - Do As I Do: Transferring Human Motion and Appearance between Monocular
Videos with Spatial and Temporal Constraints [8.784162652042959]
画像からのマーカレス人間の動き推定と形状モデリングは、この課題を先進国にもたらす。
本稿では,モノクラービデオから外見や人間の動きを伝達するための統一的な定式化を提案する。
本手法は,人間の動作と外観の両方を,最先端の手法で転送することができる。
論文 参考訳（メタデータ） (2020-01-08T16:39:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。