論文の概要: Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation

• arxiv url: http://arxiv.org/abs/2406.01900v1
• Date: Tue, 4 Jun 2024 02:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:13:20.317340
• Title: Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation
• Title（参考訳）: Follow-Your-Emoji:Fun-Controllable and Expressive Freestyle Portrait Animation
• Authors: Yue Ma, Hongyu Liu, Hongfa Wang, Heng Pan, Yingqing He, Junkun Yuan, Ailing Zeng, Chengfei Cai, Heung-Yeung Shum, Wei Liu, Qifeng Chen,
• Abstract要約: Follow-Your-Emojiは、ポートレートアニメーションのための拡散ベースのフレームワークである。 参照ポートレートとターゲットランドマークシーケンスを識別する。 本手法は,フリースタイルの肖像画の表現を制御できることを実証する。
• 参考スコア（独自算出の注目度）: 53.767090490974745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Follow-Your-Emoji, a diffusion-based framework for portrait animation, which animates a reference portrait with target landmark sequences. The main challenge of portrait animation is to preserve the identity of the reference portrait and transfer the target expression to this portrait while maintaining temporal consistency and fidelity. To address these challenges, Follow-Your-Emoji equipped the powerful Stable Diffusion model with two well-designed technologies. Specifically, we first adopt a new explicit motion signal, namely expression-aware landmark, to guide the animation process. We discover this landmark can not only ensure the accurate motion alignment between the reference portrait and target motion during inference but also increase the ability to portray exaggerated expressions (i.e., large pupil movements) and avoid identity leakage. Then, we propose a facial fine-grained loss to improve the model's ability of subtle expression perception and reference portrait appearance reconstruction by using both expression and facial masks. Accordingly, our method demonstrates significant performance in controlling the expression of freestyle portraits, including real humans, cartoons, sculptures, and even animals. By leveraging a simple and effective progressive generation strategy, we extend our model to stable long-term animation, thus increasing its potential application value. To address the lack of a benchmark for this field, we introduce EmojiBench, a comprehensive benchmark comprising diverse portrait images, driving videos, and landmarks. We show extensive evaluations on EmojiBench to verify the superiority of Follow-Your-Emoji.
• Abstract（参考訳）: ポートレートアニメーションの拡散に基づくフレームワークであるFollow-Your-Emojiについて述べる。 ポートレートアニメーションの主な課題は、参照ポートレートのアイデンティティを保存し、時間的一貫性と忠実さを維持しながら、ターゲット表現をこのポートレートに転送することである。 これらの課題に対処するため、Follow-Your-Emojiは2つのよく設計された技術を備えた強力な安定拡散モデルを採用した。 具体的には、まず、アニメーションプロセスのガイドとして、表現認識のランドマークという、新しい明示的な動作信号を採用する。 このランドマークは、参照ポートレートと推論中のターゲットモーションの正確な動きアライメントを確保するだけでなく、誇張された表現(すなわち大きな瞳運動)を表現し、アイデンティティの漏洩を避けることができる。 そこで我々は,表情と顔のマスクの両方を用いて,微妙な表情認識能力と参照肖像画の外観復元能力を向上させるために,顔のきめ細かな損失を提案する。 そこで本手法は,人間,漫画,彫刻,動物など,フリースタイルの肖像画の表現を制御できることを実証する。 単純かつ効果的なプログレッシブ・ジェネレーション・ストラテジーを活用することで、我々はモデルを安定した長期アニメーションに拡張し、潜在的なアプリケーション価値を増大させる。 この分野でのベンチマークの欠如に対処するために、さまざまな肖像画、動画の駆動、ランドマークからなる総合的なベンチマークであるEmojiBenchを紹介します。 また,EmojiBenchについて,Follow-Your-Emojiの優位性を検証するため,広範囲な評価を行った。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation [4.568539181254851]
  本稿では,オーディオによる高品質なアニメーションを生成するためのフレームワークであるAniPortraitと,参照ポートレート画像を提案する。 実験により,AniPortraitの顔の自然性,ポーズの多様性,視覚的品質の面での優位性が示された。 本手法は,顔の動きの編集や顔の再現といった領域に効果的に適用可能な,柔軟性や制御性の観点からも有意な可能性を秘めている。
  論文  参考訳（メタデータ） (2024-03-26T13:35:02Z)
• FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
  FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。 我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
  論文  参考訳（メタデータ） (2024-03-25T17:59:57Z)
• X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention [18.211762995744337]
  本稿では,表現的かつ時間的コヒーレントなポートレートアニメーションを生成するための,革新的な条件拡散モデルであるX-Portraitを提案する。 外観参照として1つのポートレートが与えられた場合、駆動ビデオから得られる動きをアニメーション化し、非常にダイナミックかつ微妙な表情をキャプチャすることを目的としている。 実験により,X-ポートレートの多彩な顔画像および表現力のある運転シーケンスに対する普遍的効果が示された。
  論文  参考訳（メタデータ） (2024-03-23T20:30:28Z)
• FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability [14.896554342627551]
  顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。 このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。 提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
  論文  参考訳（メタデータ） (2023-12-06T02:55:35Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation [49.4220768835379]
  AdaMeshは、適応的な音声駆動の顔アニメーションアプローチである。 約10秒間の参照ビデオから、パーソナライズされた話し方を学ぶ。 鮮やかな表情と頭部のポーズを生成する。
  論文  参考訳（メタデータ） (2023-10-11T06:56:08Z)
• FACTS: Facial Animation Creation using the Transfer of Styles [10.141085397402314]
  本稿では、既存のアニメーションを取り入れ、スタイル特性の修正を可能にすることによって、顔のアニメーションに新しいアプローチを提案する。 具体的には,3次元顔のアニメーションを異なる感情や個人固有のスタイルに変換するために,StarGANの使用について検討する。
  論文  参考訳（メタデータ） (2023-07-18T17:58:22Z)
• Continuously Controllable Facial Expression Editing in Talking Face Videos [34.83353695337335]
  言語関連表現と感情関連表現はしばしば高結合である。 従来の画像から画像への変換手法は、我々のアプリケーションではうまく機能しない。 そこで本研究では,音声合成のための高品質な表情編集手法を提案する。
  論文  参考訳（メタデータ） (2022-09-17T09:05:47Z)
• Language-Guided Face Animation by Recurrent StyleGAN-based Generator [87.56260982475564]
  本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。 本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
  論文  参考訳（メタデータ） (2022-08-11T02:57:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。