論文の概要: KeyFace: Expressive Audio-Driven Facial Animation for Long Sequences via KeyFrame Interpolation

• arxiv url: http://arxiv.org/abs/2503.01715v2
• Date: Wed, 19 Mar 2025 12:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:21:01.983948
• Title: KeyFace: Expressive Audio-Driven Facial Animation for Long Sequences via KeyFrame Interpolation
• Title（参考訳）: KeyFace: キーフレーム補間による長周期音声駆動顔アニメーション
• Authors: Antoni Bigata, Michał Stypułkowski, Rodrigo Mira, Stella Bounareli, Konstantinos Vougioukas, Zoe Landgraf, Nikita Drobyshev, Maciej Zieba, Stavros Petridis, Maja Pantic,
• Abstract要約: KeyFaceは、顔アニメーションのための新しい2段階拡散ベースのフレームワークである。 最初の段階では、モデルは遷移の間のギャップを埋め、スムーズかつ時間的コヒーレンスを保証する。 リアリズムをさらに強化するため、連続的な感情表現を取り入れ、幅広い非音声発声(NSV)を扱う。 実験の結果,KeyFaceは長期間にわたって自然なコヒーレントな顔アニメーションを生成する上で,最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 37.27908280809964
• License:
• Abstract: Current audio-driven facial animation methods achieve impressive results for short videos but suffer from error accumulation and identity drift when extended to longer durations. Existing methods attempt to mitigate this through external spatial control, increasing long-term consistency but compromising the naturalness of motion. We propose KeyFace, a novel two-stage diffusion-based framework, to address these issues. In the first stage, keyframes are generated at a low frame rate, conditioned on audio input and an identity frame, to capture essential facial expressions and movements over extended periods of time. In the second stage, an interpolation model fills in the gaps between keyframes, ensuring smooth transitions and temporal coherence. To further enhance realism, we incorporate continuous emotion representations and handle a wide range of non-speech vocalizations (NSVs), such as laughter and sighs. We also introduce two new evaluation metrics for assessing lip synchronization and NSV generation. Experimental results show that KeyFace outperforms state-of-the-art methods in generating natural, coherent facial animations over extended durations, successfully encompassing NSVs and continuous emotions.
• Abstract（参考訳）: 現在の音声駆動の顔アニメーション法は、短いビデオでは印象的な結果を得るが、長い時間に延ばすとエラーの蓄積とアイデンティティのドリフトに悩まされる。 既存の手法では、外部空間制御によってこれを緩和し、長期的整合性を高めるが、運動の自然性を損なう。 これらの問題に対処するために、新しい2段階拡散ベースのフレームワークであるKeyFaceを提案する。 第1段階では、キーフレームを低フレームレートで生成し、音声入力とアイデンティティフレームを条件とし、重要な表情や動きを長時間にわたってキャプチャする。 第2段階では、補間モデルはキーフレーム間のギャップを埋め、スムーズな遷移と時間的コヒーレンスを保証する。 リアリズムをさらに強化するために,我々は連続した感情表現を取り入れ,笑いや笑いなどの幅広い非音声発声(NSV)を扱う。 また,唇の同期とNSV生成を評価するための2つの新しい評価指標も導入した。 実験結果から,KeyFaceは長期にわたる自然なコヒーレントな顔のアニメーション生成における最先端の手法よりも優れ,NSVや継続的な感情の包含に成功していることがわかった。

関連論文リスト

• EMO2: End-Effector Guided Audio-Driven Avatar Video Generation [17.816939983301474]
  本稿では,表現力の高い表情と手の動きを同時に生成できる新しい音声駆動音声ヘッド手法を提案する。 第1段階では、音声信号と手の動きの強い相関を利用して、音声入力から直接手振りを生成する。 第2段階では、拡散モデルを用いてビデオフレームを合成し、第1段階で生成されたポーズを取り入れ、現実的な表情と身体の動きを生成する。
  論文  参考訳（メタデータ） (2025-01-18T07:51:29Z)
• MEMO: Memory-Guided Diffusion for Expressive Talking Video Generation [55.95148886437854]
  メモリ誘導EMO (Memory-guided EMOtion-aware diffusion) は、音声による映像を生成するエンドツーエンドのポートレートアニメーション手法である。 MEMOは、多様な画像とオーディオタイプ、全体的な品質、オーディオ-リップ同期、アイデンティティの整合性、表現-感情アライメントにおいて、よりリアルな会話ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-05T18:57:26Z)
• KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
  キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。 本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。 後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
  論文  参考訳（メタデータ） (2024-09-02T09:41:24Z)
• High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
  本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。 まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。 そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
  論文  参考訳（メタデータ） (2024-08-10T02:58:28Z)
• FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
  我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。 ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。 本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:59:48Z)
• GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation [71.73912454164834]
  音声-リップ同期の汎用化, 画質の向上, システム効率の向上が期待できる。 NeRFは、数分間のトレーニングビデオで高忠実で3D一貫性のある会話顔生成を実現することができるため、この分野で一般的な技術となっている。 そこで我々は,これらの課題に対処するためにGeneFace++を提案し,ピッチの輪郭を補助的特徴として利用し,顔の動き予測プロセスに時間的損失を導入する。
  論文  参考訳（メタデータ） (2023-05-01T12:24:09Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Prior [27.989344587876964]
  音声駆動の3D顔アニメーションは広く研究されているが、現実主義と鮮明さを達成するにはまだまだギャップがある。 本稿では,学習したコードブックの有限プロキシ空間において,音声による顔のアニメーションをコードクエリタスクとしてキャストすることを提案する。 提案手法は, 定性的かつ定量的に, 現在の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-06T05:04:32Z)
• Audio-visual video face hallucination with frequency supervision and cross modality support by speech based lip reading loss [17.55876691164626]
  本稿では,VFH-GAN (VFH-GAN) を用いた新しい視覚的ビデオ・ハロシン化生成ネットワークを提案する。 このアーキテクチャは、顔構造の動きと関連する音声信号との意味的相関を利用する。 現状との視覚的比較と定量的比較は、性能と有効性に有意な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T06:44:11Z)
• Dilated Context Integrated Network with Cross-Modal Consensus for Temporal Emotion Localization in Videos [128.70585652795637]
  TELは、時間的行動の局所化と比較して3つのユニークな課題を提示している。 感情は時間的ダイナミクスが非常に多様である。 微粒な時間的アノテーションは複雑で、労働集約的です。
  論文  参考訳（メタデータ） (2022-08-03T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。