論文の概要: Do As I Do: Transferring Human Motion and Appearance between Monocular
Videos with Spatial and Temporal Constraints
- arxiv url: http://arxiv.org/abs/2001.02606v2
- Date: Tue, 21 Jan 2020 17:26:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 12:40:42.553947
- Title: Do As I Do: Transferring Human Motion and Appearance between Monocular
Videos with Spatial and Temporal Constraints
- Title（参考訳）: i do: 空間的制約と時間的制約を伴う単眼ビデオ間の人間の動きと外観の伝達
- Authors: Thiago L. Gomes and Renato Martins and Jo\~ao Ferreira and Erickson R.
Nascimento
- Abstract要約: 画像からのマーカレス人間の動き推定と形状モデリングは、この課題を先進国にもたらす。
本稿では,モノクラービデオから外見や人間の動きを伝達するための統一的な定式化を提案する。
本手法は,人間の動作と外観の両方を,最先端の手法で転送することができる。
- 参考スコア（独自算出の注目度）: 8.784162652042959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating plausible virtual actors from images of real actors remains one of
the key challenges in computer vision and computer graphics. Marker-less human
motion estimation and shape modeling from images in the wild bring this
challenge to the fore. Although the recent advances on view synthesis and
image-to-image translation, currently available formulations are limited to
transfer solely style and do not take into account the character's motion and
shape, which are by nature intermingled to produce plausible human forms. In
this paper, we propose a unifying formulation for transferring appearance and
retargeting human motion from monocular videos that regards all these aspects.
Our method synthesizes new videos of people in a different context where they
were initially recorded. Differently from recent appearance transferring
methods, our approach takes into account body shape, appearance, and motion
constraints. The evaluation is performed with several experiments using
publicly available real videos containing hard conditions. Our method is able
to transfer both human motion and appearance outperforming state-of-the-art
methods, while preserving specific features of the motion that must be
maintained (e.g., feet touching the floor, hands touching a particular object)
and holding the best visual quality and appearance metrics such as Structural
Similarity (SSIM) and Learned Perceptual Image Patch Similarity (LPIPS).
- Abstract（参考訳）: 現実の俳優の画像から妥当な仮想アクターを作成することは、コンピュータビジョンとコンピュータグラフィックスの重要な課題の1つだ。
画像からのマーカレス人間の動き推定と形状モデリングは、この課題を先進国にもたらす。
近年の映像合成やイメージ・ツー・イメージ翻訳の進歩はあったが、現在利用可能な定式化は、文字の運動や形状を考慮せず、人間の形を形作るために自然と混ざり合っている。
本稿では,これらをすべて考慮した単眼映像から人間の動きを移動・再ターゲティングするための統一的な定式化を提案する。
本手法は、当初記録されていた異なる文脈の人々の新しい映像を合成する。
近年の外観伝達法と異なり, 身体形状, 外観, 運動の制約を考慮したアプローチである。
硬い条件を含む実映像を公開して,いくつかの実験により評価を行った。
提案手法は, 人間の動作と外観の両面において, 維持すべき動作の特徴(例えば, 床に触れたり, 特定の物体に触れたり)を保ちながら, 構造的類似度(SSIM)や学習された知覚的イメージパッチ類似度(LPIPS)などの最高の視覚的品質と外観的指標を保持することができる。
関連論文リスト
- DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
オープンドメイン画像をアニメーションビデオに変換する手法を提案する。
鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。
提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
論文 参考訳（メタデータ） (2023-10-18T14:42:16Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。
重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。
Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
論文 参考訳（メタデータ） (2021-11-12T20:20:37Z) - Dance In the Wild: Monocular Human Animation with Neural Dynamic
Appearance Synthesis [56.550999933048075]
そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。
動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。
提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-11-10T20:18:57Z) - On Development and Evaluation of Retargeting Human Motion and Appearance
in Monocular Videos [2.870762512009438]
人間の俳優のビデオ間の人間の動きと外観の転送は、コンピュータビジョンの重要な課題の1つです。
本稿では,競争性のある視覚品質を示すハイブリッドイメージベースレンダリング技術に基づく,新規かつ高性能なアプローチを提案する。
また,人間の動画を合成するタスクを評価するために,アノテートされた人間の動きと異なる映像からなる新しいビデオベンチマークデータセットを提案する。
論文 参考訳（メタデータ） (2021-03-29T13:17:41Z) - Style and Pose Control for Image Synthesis of Humans from a Single
Monocular View [78.6284090004218]
StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。
我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。
StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
論文 参考訳（メタデータ） (2021-02-22T18:50:47Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳（メタデータ） (2020-12-20T16:54:38Z) - Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。
既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。
我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。
我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
論文 参考訳（メタデータ） (2020-12-07T15:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。