論文の概要: Identity-Preserving Realistic Talking Face Generation

• arxiv url: http://arxiv.org/abs/2005.12318v1
• Date: Mon, 25 May 2020 18:08:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 06:13:43.569805
• Title: Identity-Preserving Realistic Talking Face Generation
• Title（参考訳）: アイデンティティ保存型現実的な会話顔生成
• Authors: Sanjana Sinha, Sandika Biswas and Brojeshwar Bhowmick
• Abstract要約: 音声から現実的な顔のアニメーションを識別する手法を提案する。 教師なし学習を用いて顔のランドマークに点眼する。 また、LSGANを用いて、人物特有の顔のランドマークから顔のテクスチャを生成する。
• 参考スコア（独自算出の注目度）: 4.848016645393023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-driven facial animation is useful for a variety of applications such as telepresence, chatbots, etc. The necessary attributes of having a realistic face animation are 1) audio-visual synchronization (2) identity preservation of the target individual (3) plausible mouth movements (4) presence of natural eye blinks. The existing methods mostly address the audio-visual lip synchronization, and few recent works have addressed the synthesis of natural eye blinks for overall video realism. In this paper, we propose a method for identity-preserving realistic facial animation from speech. We first generate person-independent facial landmarks from audio using DeepSpeech features for invariance to different voices, accents, etc. To add realism, we impose eye blinks on facial landmarks using unsupervised learning and retargets the person-independent landmarks to person-specific landmarks to preserve the identity-related facial structure which helps in the generation of plausible mouth shapes of the target identity. Finally, we use LSGAN to generate the facial texture from person-specific facial landmarks, using an attention mechanism that helps to preserve identity-related texture. An extensive comparison of our proposed method with the current state-of-the-art methods demonstrates a significant improvement in terms of lip synchronization accuracy, image reconstruction quality, sharpness, and identity-preservation. A user study also reveals improved realism of our animation results over the state-of-the-art methods. To the best of our knowledge, this is the first work in speech-driven 2D facial animation that simultaneously addresses all the above-mentioned attributes of a realistic speech-driven face animation.
• Abstract（参考訳）: 音声駆動の顔アニメーションは、テレプレゼンス、チャットボットなど、さまざまなアプリケーションに有用である。 リアルな顔アニメーションを持つために必要な特性は 1) 音声と視覚の同期(2) 対象者の識別保存(3) 可視性口の動き(4) 自然眼の点滅の有無。 既存の手法は主に音声と視覚の唇の同期に対処しており、近年ではビデオリアリズム全体のための自然な目まみれの合成に対処する研究はほとんどない。 本稿では,音声から現実的な顔のアニメーションを識別する手法を提案する。 まず、DeepSpeech機能を使って音声から人物非依存の顔のランドマークを生成し、異なる音声、アクセント等に不変性を持たせる。 現実主義を加えるために,教師なし学習を用いて顔ランドマークに目まぶしを課し,個人固有のランドマークを個人固有のランドマークに再ターゲティングすることで,ターゲットアイデンティティの再現可能な口形状の生成を支援するアイデンティティ関連顔構造を維持する。 最後に、lsganを用いて顔のテクスチャを個人固有の顔のランドマークから生成し、パーソナライズ関連テクスチャの保存を支援するアテンション機構を用いて顔のテクスチャを生成する。 提案手法と最先端技術との比較により, リップ同期精度, 画像再構成品質, シャープネス, アイデンティティ保存の点で, 大幅な改善が見られた。 ユーザスタディでは、最先端の手法によるアニメーション結果のリアリズムの改善も明らかにしている。 我々の知る限りでは、これは、現実的な音声駆動顔アニメーションの上記の属性をすべて同時に扱う、音声駆動顔アニメーションにおける最初の作品である。

関連論文リスト

• Mimic: Speaking Style Disentanglement for Speech-Driven 3D Facial Animation [41.489700112318864]
  音声駆動型3D顔アニメーションは、音声と正確に同期し、独特の話し方にマッチする鮮やかな顔アニメーションを合成することを目的としている。 本稿では,任意の発話スタイルの符号化を可能にする,革新的な発話スタイルのアンタングル化手法を提案する。 また,顔の動きから話し方や内容の絡み合った表現を学習する「textbfMimic」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T01:49:42Z)
• Personalized Speech-driven Expressive 3D Facial Animation Synthesis with Style Control [1.8540152959438578]
  現実的な顔アニメーションシステムは、自然性や妥当性の高次化を実現するために、アイデンティティ固有の話し方や顔の慣用性を考慮すべきである。 音声駆動型表情表現3次元顔画像合成フレームワークを提案する(スタイルと呼ばれる)。 我々のフレームワークはエンドツーエンドで訓練されており、3つの主要コンポーネントを持つ非自己回帰エンコーダデコーダアーキテクチャを備えている。
  論文  参考訳（メタデータ） (2023-10-25T21:22:28Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations [61.65012981435094]
  DIRFAは、異なるが現実的な顔のアニメーションを同一の駆動音声から生成できる新しい方法である。 同一音声に対して妥当な顔のアニメーションの変動に対応するため,トランスフォーマーに基づく確率的マッピングネットワークを設計する。 DIRFAは現実的な顔のアニメーションを効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-04-18T12:36:15Z)
• FaceXHuBERT: Text-less Speech-driven E(X)pressive 3D Facial Animation Synthesis Using Self-Supervised Speech Representation Learning [0.0]
  FaceXHuBERTは、テキストレス音声駆動の3D顔アニメーション生成方法である。 背景雑音に対して非常に頑丈で、様々な状況で録音された音声を処理できる。 アニメーションの写実性に関しては78%の精度で優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-03-09T17:05:19Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。