論文の概要: JEAN: Joint Expression and Audio-guided NeRF-based Talking Face Generation

• arxiv url: http://arxiv.org/abs/2409.12156v1
• Date: Wed, 18 Sep 2024 17:18:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 16:35:11.480334
• Title: JEAN: Joint Expression and Audio-guided NeRF-based Talking Face Generation
• Title（参考訳）: JEAN: 共同表現と音声誘導型NeRFベースのトーキングフェイスジェネレーション
• Authors: Sai Tanmay Reddy Chakkera, Aggelina Chatziagapi, Dimitris Samaras,
• Abstract要約: 共同表現と音声誘導による発話顔生成のための新しい手法を提案する。 提案手法は,高忠実度音声映像を合成し,最先端の表情伝達を実現する。
• 参考スコア（独自算出の注目度）: 24.2065254076207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel method for joint expression and audio-guided talking face generation. Recent approaches either struggle to preserve the speaker identity or fail to produce faithful facial expressions. To address these challenges, we propose a NeRF-based network. Since we train our network on monocular videos without any ground truth, it is essential to learn disentangled representations for audio and expression. We first learn audio features in a self-supervised manner, given utterances from multiple subjects. By incorporating a contrastive learning technique, we ensure that the learned audio features are aligned to the lip motion and disentangled from the muscle motion of the rest of the face. We then devise a transformer-based architecture that learns expression features, capturing long-range facial expressions and disentangling them from the speech-specific mouth movements. Through quantitative and qualitative evaluation, we demonstrate that our method can synthesize high-fidelity talking face videos, achieving state-of-the-art facial expression transfer along with lip synchronization to unseen audio.
• Abstract（参考訳）: 共同表現と音声誘導による発話顔生成のための新しい手法を提案する。 最近のアプローチでは、話者のアイデンティティを維持するのに苦労するか、忠実な表情を作り出すのに失敗する。 これらの課題に対処するために、我々はNeRFベースのネットワークを提案する。 基礎的な真実を示さずにモノクロビデオでネットワークを訓練するため、音声と表現の非絡み合い表現を学習することが不可欠である。 複数の被験者からの発声を考慮し,まず音声特徴を自己指導的に学習する。 対照的な学習手法を取り入れることで、学習した音声特徴が唇の動きと一致し、他の顔の筋肉の動きから遠ざかることを保証する。 次に, 表情特徴を学習し, 長距離表情を捉え, 音声固有の口の動きから切り離すトランスフォーマーに基づくアーキテクチャを考案する。 定量的および質的評価により,本手法は高忠実度音声音声を合成し,唇の同期とともに最先端の表情伝達を達成できることが実証された。

関連論文リスト

• FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
  我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。 ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。 本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:59:48Z)
• Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism [26.180371869137257]
  会話顔生成における最先端技術は、主にリップシンキングに焦点を当て、音声クリップに条件付けされている。 NEUral Text to ARticulate Talk (NEUTART) は、音声視覚機能空間を用いた音声合成システムである。 モデルは、人間のような調音と、よく同期されたオーディオヴィジュアルストリームを備えた、フォトリアリスティックなトーキングフェイスビデオを生成する。
  論文  参考訳（メタデータ） (2023-12-11T18:41:55Z)
• Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video [91.92782707888618]
  本稿では,音声の知覚と音声の知覚を両立させるSpeech2Lip(Speech2Lip)という分解合成フレームワークを提案する。 提案手法は,数分間のビデオで学習し,視覚的品質と音声・視覚的同期の両面において最先端のパフォーマンスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-09T14:52:39Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)
• One-shot Talking Face Generation from Single-speaker Audio-Visual Correlation Learning [20.51814865676907]
  特定の話者から一貫した音声スタイルを学ぶ方がずっと簡単で、それが本物の口の動きにつながる。 本研究では,特定の話者からの音声と視覚の動きの一致した相関関係を探索し,一対一の会話顔生成フレームワークを提案する。 学習した一貫した話し方のおかげで,本手法は真正な口の形状と鮮明な動きを生成する。
  論文  参考訳（メタデータ） (2021-12-06T02:53:51Z)
• FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning [23.14865405847467]
  本稿では,音声信号を入力とし,短いターゲット映像クリップを参照として,話し顔を生成する手法を提案する。 本発明の方法は、入力された音声信号と同期した自然な唇の動き、頭部ポーズ、および目の点滅で、対象の顔の写実的な映像を合成する。 実験結果とユーザスタディにより,本手法は,最先端の手法よりも優れた品質で,現実的な音声ビデオを生成することができることが示された。
  論文  参考訳（メタデータ） (2021-08-18T02:10:26Z)
• Speech2Video: Cross-Modal Distillation for Speech to Video Generation [21.757776580641902]
  音声対ビデオ生成技術は、エンターテイメント、カスタマーサービス、人間とコンピュータの相互作用産業に興味深い応用をもたらす可能性がある。 この課題は主に、異なる視覚特性を音声信号から切り離すことである。 そこで本研究では,非競合ビデオ入力から無関係な感情・アイデンティティ情報を抽出する軽量なクロスモーダル蒸留法を提案する。
  論文  参考訳（メタデータ） (2021-07-10T10:27:26Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)
• VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency [111.55430893354769]
  ビデオでは、同時の背景音や他の人間のスピーカーにもかかわらず、顔に関連するスピーチを抽出することを目的としています。 本手法は,非ラベル映像から音声-視覚音声分離とクロスモーダル話者埋め込みを共同で学習する。 音声-視覚音声分離と強化のための5つのベンチマークデータセットで最新の結果が得られます。
  論文  参考訳（メタデータ） (2021-01-08T18:25:24Z)
• MakeItTalk: Speaker-Aware Talking-Head Animation [49.77977246535329]
  本稿では,音声を入力として1つの顔画像から表現力のある音声音声を生成する手法を提案する。 この中間表現に基づいて,本手法は全音声頭部の映像を全動作域で合成することができる。
  論文  参考訳（メタデータ） (2020-04-27T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。