論文の概要: Dance In the Wild: Monocular Human Animation with Neural Dynamic Appearance Synthesis

• arxiv url: http://arxiv.org/abs/2111.05916v1
• Date: Wed, 10 Nov 2021 20:18:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-13 04:48:11.084504
• Title: Dance In the Wild: Monocular Human Animation with Neural Dynamic Appearance Synthesis
• Title（参考訳）: 野生でのダンス:ニューラルダイナミックな外観合成による単眼人間アニメーション
• Authors: Tuanfeng Y. Wang and Duygu Ceylan and Krishna Kumar Singh and Niloy J. Mitra
• Abstract要約: そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。 動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。 提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 56.550999933048075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthesizing dynamic appearances of humans in motion plays a central role in applications such as AR/VR and video editing. While many recent methods have been proposed to tackle this problem, handling loose garments with complex textures and high dynamic motion still remains challenging. In this paper, we propose a video based appearance synthesis method that tackles such challenges and demonstrates high quality results for in-the-wild videos that have not been shown before. Specifically, we adopt a StyleGAN based architecture to the task of person specific video based motion retargeting. We introduce a novel motion signature that is used to modulate the generator weights to capture dynamic appearance changes as well as regularizing the single frame based pose estimates to improve temporal coherency. We evaluate our method on a set of challenging videos and show that our approach achieves state-of-the art performance both qualitatively and quantitatively.
• Abstract（参考訳）: 動作中の人間の動的外観の合成は、ar/vrやビデオ編集といったアプリケーションにおいて中心的な役割を果たす。 この問題に対処する多くの手法が提案されているが、複雑なテクスチャと高ダイナミックな動きによるゆるい衣服の扱いは依然として困難である。 本稿では、このような課題に対処し、これまで見せられていない映像の高品質な結果を示すビデオベース外観合成手法を提案する。 具体的には、個人固有の動画ベースのモーションリターゲティングのタスクに、StyleGANベースのアーキテクチャを採用する。 本研究では,時間的コヒーレンシを改善するために,動的外観変化を捉えるためにジェネレータの重みを変調する新しい動きシグネチャを導入し,単一のフレームに基づくポーズ推定を正規化する。 提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。

関連論文リスト

• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
  本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。 私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。 フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
  論文  参考訳（メタデータ） (2023-05-06T09:29:12Z)
• MoStGAN-V: Video Generation with Temporal Motion Styles [28.082294960744726]
  以前の作品は、自己回帰的な方法で、あるいは連続的な信号として時間に関して、任意の長さのビデオを生成しようと試みていた。 スタイルベースジェネレータの1つの時間に依存しない潜在ベクトルは、様々な時間的変動をモデル化するには不十分である。 多様な動きパターンをモデル化するために、時間依存の動作スタイルを導入する。
  論文  参考訳（メタデータ） (2023-04-05T22:47:12Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
  動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。 カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
  論文  参考訳（メタデータ） (2021-05-13T17:59:50Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。