論文の概要: An Identity-Preserved Framework for Human Motion Transfer
- arxiv url: http://arxiv.org/abs/2204.06862v3
- Date: Thu, 22 Feb 2024 15:29:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 19:30:56.075602
- Title: An Identity-Preserved Framework for Human Motion Transfer
- Title（参考訳）: 人間の動き伝達のためのアイデンティティ保存フレームワーク
- Authors: Jingzhe Ma, Xiaoqing Zhang and Shiqi Yu
- Abstract要約: HMT(Human Motion Transfer)は、被写体の動きを模倣することにより、被写体のためのビデオクリップを生成することを目的とする。
従来の手法は高品質なビデオでは良い結果を得たが、ソースとターゲットの動きから個々の動き情報を見失った。
我々は、textitIDPresと呼ばれる新しいID保存型HMTネットワークを提案する。
- 参考スコア（独自算出の注目度）: 3.6286856791379463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human motion transfer (HMT) aims to generate a video clip for the target
subject by imitating the source subject's motion. Although previous methods
have achieved good results in synthesizing good-quality videos, they lose sight
of individualized motion information from the source and target motions, which
is significant for the realism of the motion in the generated video. To address
this problem, we propose a novel identity-preserved HMT network, termed
\textit{IDPres}. This network is a skeleton-based approach that uniquely
incorporates the target's individualized motion and skeleton information to
augment identity representations. This integration significantly enhances the
realism of movements in the generated videos. Our method focuses on the
fine-grained disentanglement and synthesis of motion. To improve the
representation learning capability in latent space and facilitate the training
of \textit{IDPres}, we introduce three training schemes. These schemes enable
\textit{IDPres} to concurrently disentangle different representations and
accurately control them, ensuring the synthesis of ideal motions. To evaluate
the proportion of individualized motion information in the generated video, we
are the first to introduce a new quantitative metric called Identity Score
(\textit{ID-Score}), motivated by the success of gait recognition methods in
capturing identity information. Moreover, we collect an identity-motion paired
dataset, $Dancer101$, consisting of solo-dance videos of 101 subjects from the
public domain, providing a benchmark to prompt the development of HMT methods.
Extensive experiments demonstrate that the proposed \textit{IDPres} method
surpasses existing state-of-the-art techniques in terms of reconstruction
accuracy, realistic motion, and identity preservation.
- Abstract（参考訳）: HMT(Human Motion Transfer)は、被写体の動きを模倣した映像クリップを作成することを目的とする。
従来の手法は良質な動画を合成する良い結果を得たが、音源やターゲットの動きから個々の動き情報を見失っており、これは生成された動画の動作の現実性にとって重要である。
この問題に対処するために、新しいID保存型HMTネットワークである「textit{IDPres}」を提案する。
このネットワークは、ターゲットの個別化動作とスケルトン情報を独自に組み込んだスケルトンベースのアプローチであり、アイデンティティ表現を増強する。
この統合により、生成されたビデオの動きのリアリズムが大幅に向上する。
本手法は運動の微粒化と合成に焦点を当てる。
本稿では,潜在空間における表現学習能力の向上と,‘textit{IDPres}’の学習を容易にするために,3つのトレーニングスキームを導入する。
これらのスキームにより、 \textit{IDPres} は異なる表現を同時に切り離し、それらを正確に制御し、理想運動の合成を確実にすることができる。
生成ビデオにおける個別化動作情報の比率を評価するために,まず,識別情報の取得における歩行認識手法の成功に動機づけられたIdentity Score(\textit{ID-Score})と呼ばれる新しい計量指標を導入する。
さらに、パブリックドメインから101人の被験者のソロダンスビデオからなるID-モーションペアデータセットである$Dancer101$を収集し、HMTメソッドの開発を促進するためのベンチマークを提供する。
提案手法は, 再現精度, 現実動作, アイデンティティ保存の観点から, 既存の最先端技術を超えていることを示す。
関連論文リスト
- MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。
MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。
私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
論文 参考訳（メタデータ） (2024-10-09T10:12:37Z) - Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。
提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
論文 参考訳（メタデータ） (2024-06-26T04:53:11Z) - Disentangling Foreground and Background Motion for Enhanced Realism in Human Video Generation [15.569467643817447]
異なる動き表現を用いて動きを分離することで、前景と背景のダイナミクスを同時に学習する手法を提案する。
我々は、この革新的な動きの描写アプローチによって強化された現実世界の動画を訓練する。
誤りを蓄積することなく、より長いシーケンスにビデオ生成をさらに拡張するために、クリップ・バイ・クリップ・ジェネレーション・ストラテジーを採用する。
論文 参考訳（メタデータ） (2024-05-26T00:53:26Z) - AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding [24.486705010561067]
AniTalkerは、1つのポートレートから、生き生きとした話し顔を生成するために設計されたフレームワークである。
AniTalkerは、微妙な表情や頭の動きを含む、幅広い顔のダイナミクスを効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-05-06T02:32:41Z) - Customizing Motion in Text-to-Video Diffusion Models [79.4121510826141]
動作をカスタマイズしたテキスト・ビデオ・ジェネレーション・モデルを構築するためのアプローチを提案する。
入力として特定の動きを示すビデオサンプルを活用することで,入力動作パターンを多種多様なテキスト特定シナリオに対して学習し,一般化する。
論文 参考訳（メタデータ） (2023-12-07T18:59:03Z) - SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。
CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。
実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-31T09:58:11Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-08-28T10:40:16Z) - LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。
私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。
フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
論文 参考訳（メタデータ） (2023-05-06T09:29:12Z) - Flow Guided Transformable Bottleneck Networks for Motion Retargeting [29.16125343915916]
既存の取り組みでは、対象者ごとの長いトレーニング映像を利用して、対象者固有のモーショントランスファーモデルをトレーニングしている。
ターゲットからの1枚または数枚の画像しか必要としないモーショントランスファー技術が近年注目されている。
本稿では,トランスフォーマブル・ボトルネックネットワークにヒントを得て,画像内容の暗黙の容積表現に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-14T21:58:30Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳（メタデータ） (2020-08-24T02:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。