論文の概要: Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter

• arxiv url: http://arxiv.org/abs/2503.06397v1
• Date: Sun, 09 Mar 2025 02:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:01.554041
• Title: Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter
• Title（参考訳）: 平均値の除去:アイデンティティ・アダプタに基づくパーソナライズされたリップシンク駆動キャラクタ
• Authors: Yanyu Zhu, Licheng Bai, Jintao Xu, Jiwei Tang, Hai-tao Zheng,
• Abstract要約: リップ平均化(lip averaging)現象は、未確認映像を撮影する際に、モデルが微妙な顔の細部を保存できない場合に発生する。 参照ビデオからアイデンティティ埋め込みを抽出し,忠実な顔列を生成するUnAvgLipを提案する。
• 参考スコア（独自算出の注目度）: 10.608872317957026
• License:
• Abstract: Recent advances in diffusion-based lip-syncing generative models have demonstrated their ability to produce highly synchronized talking face videos for visual dubbing. Although these models excel at lip synchronization, they often struggle to maintain fine-grained control over facial details in generated images. In this work, we identify "lip averaging" phenomenon where the model fails to preserve subtle facial details when dubbing unseen in-the-wild videos. This issue arises because the commonly used UNet backbone primarily integrates audio features into visual representations in the latent space via cross-attention mechanisms and multi-scale fusion, but it struggles to retain fine-grained lip details in the generated faces. To address this issue, we propose UnAvgLip, which extracts identity embeddings from reference videos to generate highly faithful facial sequences while maintaining accurate lip synchronization. Specifically, our method comprises two primary components: (1) an Identity Perceiver module that encodes facial embeddings to align with conditioned audio features; and (2) an ID-CrossAttn module that injects facial embeddings into the generation process, enhancing model's capability of identity retention. Extensive experiments demonstrate that, at a modest training and inference cost, UnAvgLip effectively mitigates the "averaging" phenomenon in lip inpainting, significantly preserving unique facial characteristics while maintaining precise lip synchronization. Compared with the original approach, our method demonstrates significant improvements of 5% on the identity consistency metric and 2% on the SSIM metric across two benchmark datasets (HDTF and LRW).
• Abstract（参考訳）: 拡散型唇同期生成モデルの最近の進歩は、視覚的ダビングのための高度に同期された顔ビデオを作成する能力を示している。 これらのモデルはリップ同期において優れているが、生成された画像の顔の詳細をきめ細かな制御に苦慮することが多い。 本研究では,未確認映像を撮影する際に,モデルが微妙な顔の細部を保存できない「リップ平均化」現象を同定する。 この問題は、一般的に使用されるUNetバックボーンが、主に、クロスアテンション機構とマルチスケールフュージョンを通じて、潜在空間の視覚的表現にオーディオ機能を統合しているが、生成された顔の細かい唇の詳細を保持するのに苦労しているためである。 この問題を解決するために,UnAvgLipを提案する。これは参照ビデオからアイデンティティ埋め込みを抽出し,高精度な唇同期を維持しつつ,忠実な顔列を生成する。 具体的には,(1)顔の埋め込みを符号化して条件付き音声特徴と整合させるIdentity Perceiverモジュール,(2)顔の埋め込みを生成プロセスに注入するID-CrossAttnモジュールの2つの主要コンポーネントから構成され,モデルのアイデンティティ保持能力を高める。 過度な訓練と推論のコストにおいて、UnAvgLipは唇の塗布における「痛む」現象を効果的に軽減し、正確な唇の同期を維持しながら顔の特徴を著しく保存することを示した。 提案手法は,従来の手法と比較して,識別整合性尺度では5%,SSIMでは2%,ベンチマークデータセット(HDTF,LRW)では2%の大幅な改善を示した。

関連論文リスト

• EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion [3.592206475366951]
  既存の手法は「コピー・ペースト」アーティファクトと類似性の低い問題に苦しむ。 テキストから高レベルなセマンティック機能を統合して、クリーンな顔認証表現をキャプチャするEchoVideoを提案する。 高品質で制御性があり、忠実なビデオを生成するのに優れた結果をもたらす。
  論文  参考訳（メタデータ） (2025-01-23T08:06:11Z)
• Identity-Preserving Video Dubbing Using Motion Warping [26.10803670509977]
  ビデオダビングは、レファレンスビデオと駆動オーディオ信号からリアルでリップシンクされたビデオを合成することを目的としている。 本稿では,ビデオダビングのためのIPTalkerを提案する。 IPTalkerは、リアリズム、リップ同期、アイデンティティ保持の観点から、既存のアプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-08T16:06:21Z)
• HiFiVFS: High Fidelity Video Face Swapping [35.49571526968986]
  Face swappingは、ソースからのIDとターゲットからの属性を組み合わせた結果を生成することを目的としている。 安定ビデオ拡散の強い生成能力と時間的先行を生かした高忠実度ビデオ顔交換フレームワークを提案する。 本手法は,映像面スワップにおける最新技術(SOTA)を質的かつ定量的に達成する。
  論文  参考訳（メタデータ） (2024-11-27T12:30:24Z)
• RealTalk: Real-time and Realistic Audio-driven Face Generation with 3D Facial Prior-guided Identity Alignment Network [48.95833484103569]
  RealTalkは、音声から表現へのトランスフォーマーであり、高忠実な表現から顔へのフレームワークである。 第1成分として, 口唇運動に関連する個人性および個人内変動の特徴について考察した。 第2のコンポーネントでは、軽量な顔認証アライメント(FIA)モジュールを設計する。 この新しい設計により、高度で非効率な特徴アライメントモジュールに依存することなく、リアルタイムに細部を生成できる。
  論文  参考訳（メタデータ） (2024-06-26T12:09:59Z)
• SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space [13.59798532129008]
  我々は,同じ潜在空間における顔交換と唇同期の両タスクを実現する,革新的な統一フレームワークSwapTalkを提案する。 生成した顔ビデオの時系列上でのアイデンティティ一貫性をより包括的に評価するための新しいアイデンティティ一貫性指標を提案する。 HDTF実験の結果,ビデオ品質,リップ同期精度,顔スワップの忠実度,アイデンティティの整合性など,既存の手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-09T09:22:09Z)
• Audio-Visual Speech Representation Expert for Enhanced Talking Face Video Generation and Evaluation [51.92522679353731]
  本稿では,学習中の唇の同期損失の計算にAV-HuBERT (Audio-visual speech representation expert) を用いることを提案する。 3つの新しい唇同期評価指標を導入し,唇同期性能を総合的に評価することを目的とした。
  論文  参考訳（メタデータ） (2024-05-07T13:55:50Z)
• ID-Aligner: Enhancing Identity-Preserving Text-to-Image Generation with Reward Feedback Learning [57.91881829308395]
  AIポートレートや広告といった幅広いアプリケーションシナリオのために、ID-T2I(ID-preserving text-to-image generation)が注目されている。 我々は,ID-T2I性能を向上させるための一般的なフィードバック学習フレームワークである textbfID-Aligner を提案する。
  論文  参考訳（メタデータ） (2024-04-23T18:41:56Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• Audio-driven Talking Face Generation with Stabilized Synchronization Loss [60.01529422759644]
  トーキング・フェイスジェネレーションは、正確な唇の同期と高い視覚的品質でリアルなビデオを作成することを目的としている。 まずサイレント・リップ・ジェネレータを導入することでリップリーク問題に対処する。 実験の結果,我々のモデルは視覚的品質と唇の同期の両方において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-18T15:50:04Z)
• DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition [85.94331736287765]
  我々は、HFRを二重生成問題として定式化し、新しいDual Variational Generation(DVG-Face)フレームワークを用いてそれに取り組む。 大規模可視データの豊富なアイデンティティ情報を結合分布に統合する。 同一の同一性を持つ多種多様な多種多様な画像は、ノイズから生成することができる。
  論文  参考訳（メタデータ） (2020-09-20T09:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。