論文の概要: An Identity-Preserved Framework for Human Motion Transfer
- arxiv url: http://arxiv.org/abs/2204.06862v2
- Date: Tue, 4 Apr 2023 07:19:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 19:13:08.035073
- Title: An Identity-Preserved Framework for Human Motion Transfer
- Title(参考訳): 人間の動き伝達のためのアイデンティティ保存フレームワーク
- Authors: Jingzhe Ma, Xiaoqing Zhang and Shiqi Yu
- Abstract要約: HMT(Human Motion Transfer)は、被写体の動きを模倣することにより、被写体のためのビデオクリップを生成することを目的とする。
従来の方法は、ソースとターゲットの動作から個別化された動き情報の影響を省略する。
本稿では,スケルトンをベースとしたHMTネットワーク(textitIDPres)を提案する。
- 参考スコア(独自算出の注目度): 13.465176040679165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human motion transfer (HMT) aims to generate a video clip for the target
subject by imitating the source subject's motion. Although previous methods
have achieved remarkable results in synthesizing good-quality videos, those
methods omit the effects of individualized motion information from the source
and target motions, \textit{e.g.}, fine and high-frequency motion details, on
the realism of the motion in the generated video. To address this problem, we
propose an identity-preserved HMT network (\textit{IDPres}), which follows the
pipeline of the skeleton-based method. \textit{IDpres} takes the individualized
motion and skeleton information to enhance motion representations and improve
the reality of motions in the generated videos. With individualized motion, our
method focuses on fine-grained disentanglement and synthesis of motion. In
order to improve the representation capability in latent space and facilitate
the training of \textit{IDPres}, we design a training scheme, which allows
\textit{IDPres} to disentangle different representations simultaneously and
control them to synthesize ideal motions accurately. Furthermore, to our best
knowledge, there are no available metrics for evaluating the proportion of
identity information (both individualized motion and skeleton information) in
the generated video. Therefore, we propose a novel quantitative metric called
Identity Score (\textit{IDScore}) based on gait recognition. We also collected
a dataset with 101 subjects' solo-dance videos from the public domain, named
$Dancer101$, to evaluate the method. The comprehensive experiments show the
proposed method outperforms state-of-the-art methods in terms of reconstruction
accuracy and realistic motion.
- Abstract(参考訳): HMT(Human Motion Transfer)は、被写体の動きを模倣した映像クリップを作成することを目的とする。
従来の手法は高品質なビデオの合成において顕著な成果を上げてきたが、これらの手法は、生成した動画における動きのリアリズムに対する、ソースとターゲットの動きから個別化された動き情報である「textit{e.g.}」の効果を省略している。
この問題に対処するために,スケルトンに基づく手法のパイプラインに従うアイデンティティ保存型HMTネットワーク(\textit{IDPres})を提案する。
\textit{IDpres} は、個々の動きと骨格情報を取り込み、動きの表現を強化し、生成されたビデオにおける動きの現実を改善する。
個別化運動では,運動の微細化と合成に焦点が当てられている。
潜在空間における表現能力を改善し, \textit{idpres} の訓練を容易にするために, \textit{idpres} が異なる表現を同時に分離し,それらを制御して理想動作を正確に合成するトレーニングスキームを設計する。
さらに、我々の知る限り、生成されたビデオのアイデンティティ情報(個別化動作と骨格情報の両方)の比率を評価するための指標は存在しない。
そこで本稿では,歩行認識に基づくIdentity Score(\textit{IDScore})と呼ばれる新しい定量尺度を提案する。
また,この手法を評価するために,パブリックドメインから101人の被験者のソロダンスビデオを収集し,$Dancer101$と名づけた。
総合的な実験により,提案手法は再現精度と現実的な動きで最先端の手法より優れていた。
関連論文リスト
- AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding [24.486705010561067]
AniTalkerは、1つのポートレートから、生き生きとした話し顔を生成するために設計されたフレームワークである。
AniTalkerは、微妙な表情や頭の動きを含む、幅広い顔のダイナミクスを効果的にキャプチャする。
論文 参考訳(メタデータ) (2024-05-06T02:32:41Z) - Do You Guys Want to Dance: Zero-Shot Compositional Human Dance
Generation with Multiple Persons [73.21855272778616]
コンポジション・ヒューマン・ダンス・ジェネレーション(cHDG)の新しいタスク、データセット、評価プロトコルを導入する。
そこで我々は,任意の人物や背景に整合した動画を正確に追従しながら合成する,MultiDance-Zeroという新しいゼロショットフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-24T10:44:16Z) - Customizing Motion in Text-to-Video Diffusion Models [79.4121510826141]
動作をカスタマイズしたテキスト・ビデオ・ジェネレーション・モデルを構築するためのアプローチを提案する。
入力として特定の動きを示すビデオサンプルを活用することで,入力動作パターンを多種多様なテキスト特定シナリオに対して学習し,一般化する。
論文 参考訳(メタデータ) (2023-12-07T18:59:03Z) - SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。
CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。
実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-10-31T09:58:11Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-08-28T10:40:16Z) - LEO: Generative Latent Image Animator for Human Video Synthesis [42.925592662547814]
本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。
私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。
フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
論文 参考訳(メタデータ) (2023-05-06T09:29:12Z) - Dance In the Wild: Monocular Human Animation with Neural Dynamic
Appearance Synthesis [56.550999933048075]
そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。
動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。
提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-11-10T20:18:57Z) - Flow Guided Transformable Bottleneck Networks for Motion Retargeting [29.16125343915916]
既存の取り組みでは、対象者ごとの長いトレーニング映像を利用して、対象者固有のモーショントランスファーモデルをトレーニングしている。
ターゲットからの1枚または数枚の画像しか必要としないモーショントランスファー技術が近年注目されている。
本稿では,トランスフォーマブル・ボトルネックネットワークにヒントを得て,画像内容の暗黙の容積表現に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-14T21:58:30Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳(メタデータ) (2020-08-24T02:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。