論文の概要: Language-Guided Face Animation by Recurrent StyleGAN-based Generator

• arxiv url: http://arxiv.org/abs/2208.05617v2
• Date: Wed, 3 Jul 2024 06:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 21:02:45.788582
• Title: Language-Guided Face Animation by Recurrent StyleGAN-based Generator
• Title（参考訳）: リカレントスタイルGANベースジェネレータによる言語誘導顔アニメーション
• Authors: Tiankai Hang, Huan Yang, Bei Liu, Jianlong Fu, Xin Geng, Baining Guo,
• Abstract要約: 本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。 本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
• 参考スコア（独自算出の注目度）: 87.56260982475564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works on language-guided image manipulation have shown great power of language in providing rich semantics, especially for face images. However, the other natural information, motions, in language is less explored. In this paper, we leverage the motion information and study a novel task, language-guided face animation, that aims to animate a static face image with the help of languages. To better utilize both semantics and motions from languages, we propose a simple yet effective framework. Specifically, we propose a recurrent motion generator to extract a series of semantic and motion information from the language and feed it along with visual information to a pre-trained StyleGAN to generate high-quality frames. To optimize the proposed framework, three carefully designed loss functions are proposed including a regularization loss to keep the face identity, a path length regularization loss to ensure motion smoothness, and a contrastive loss to enable video synthesis with various language guidance in one single model. Extensive experiments with both qualitative and quantitative evaluations on diverse domains (\textit{e.g.,} human face, anime face, and dog face) demonstrate the superiority of our model in generating high-quality and realistic videos from one still image with the guidance of language. Code will be available at https://github.com/TiankaiHang/language-guided-animation.git.
• Abstract（参考訳）: 言語誘導画像操作に関する最近の研究は、特に顔画像において、リッチなセマンティクスを提供する上で、言語の大きな力を示している。 しかし、他の自然情報、動き、言語での探索は少ない。 本稿では,動き情報を活用し,静的な顔画像のアニメーション化を目的とした言語誘導型顔画像の新たな課題について検討する。 言語からのセマンティクスと動作の両面をよりよく活用するために,我々はシンプルで効果的なフレームワークを提案する。 具体的には、言語から一連の意味情報と動き情報を抽出し、学習済みのStyleGANに視覚情報と共に供給し、高品質なフレームを生成するための繰り返し動作生成器を提案する。 提案手法を最適化するために,顔の同一性を維持するための正規化損失,動きの平滑性を確保するための経路長正規化損失,および1つのモデルで様々な言語指導によるビデオ合成を可能にするコントラスト的損失を含む3つの注意深く設計された損失関数を提案する。 人間の顔, アニメ顔, 犬の顔の質的, 定量的な評価を行った実験は, 言語指導による静止画像から高品質でリアルな映像を生成する上で, モデルが優れていることを示すものである。 コードはhttps://github.com/TiankaiHang/ language-guided-animation.gitで入手できる。

関連論文リスト

• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• VQTalker: Towards Multilingual Talking Avatars through Facial Motion Tokenization [20.728919218746363]
  VQTalkerは、ベクトル量子化に基づく多言語音声ヘッド生成フレームワークである。 我々のアプローチは、人間の発話は有限個の異なる音の単位からなるという音素原理に基づいている。 VQTalkerは、ビデオ駆動と音声駆動の両方のシナリオで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-13T06:14:57Z)
• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• LinguaLinker: Audio-Driven Portraits Animation with Implicit Facial Control Enhancement [8.973545189395953]
  本研究では,拡散に基づく手法による視覚的に魅力的な時間同期アニメーションの作成に焦点をあてる。 我々は音声の特徴を別々に処理し、画像の出自に関わらず、口、目、頭の動きを暗黙的に制御する対応する制御ゲートを導出する。 アニメーションポートレートの忠実さ,リップシンクの正確さ,および本手法により達成された適切な動作変化の大幅な改善により,任意の言語でポートレートをアニメーションするための汎用ツールとなった。
  論文  参考訳（メタデータ） (2024-07-26T08:30:06Z)
• AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding [24.486705010561067]
  AniTalkerは、1つのポートレートから、生き生きとした話し顔を生成するために設計されたフレームワークである。 AniTalkerは、微妙な表情や頭の動きを含む、幅広い顔のダイナミクスを効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-05-06T02:32:41Z)
• Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
  動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。 意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。 本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
  論文  参考訳（メタデータ） (2024-04-17T17:59:55Z)
• Mimic: Speaking Style Disentanglement for Speech-Driven 3D Facial Animation [41.489700112318864]
  音声駆動型3D顔アニメーションは、音声と正確に同期し、独特の話し方にマッチする鮮やかな顔アニメーションを合成することを目的としている。 本稿では,任意の発話スタイルの符号化を可能にする,革新的な発話スタイルのアンタングル化手法を提案する。 また,顔の動きから話し方や内容の絡み合った表現を学習する「textbfMimic」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T01:49:42Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。