論文の概要: APB2FaceV2: Real-Time Audio-Guided Multi-Face Reenactment

• arxiv url: http://arxiv.org/abs/2010.13017v1
• Date: Sun, 25 Oct 2020 02:30:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 04:50:18.790943
• Title: APB2FaceV2: Real-Time Audio-Guided Multi-Face Reenactment
• Title（参考訳）: APB2FaceV2: リアルタイムオーディオガイドマルチフェイス再現
• Authors: Jiangning Zhang, Xianfang Zeng, Chao Xu, Jun Chen, Yong Liu, Yunliang Jiang
• Abstract要約: 本稿では,emphAPB2FaceV2という新しいemphReal-time emphAudio-guided emphMulti-face Reenactmentアプローチを提案する。 対応する基準面を持つ複数の人物間で異なる目標面を再現し、入力として音声信号を駆動することができる。
• 参考スコア（独自算出の注目度）: 25.619906272417303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-guided face reenactment aims to generate a photorealistic face that has matched facial expression with the input audio. However, current methods can only reenact a special person once the model is trained or need extra operations such as 3D rendering and image post-fusion on the premise of generating vivid faces. To solve the above challenge, we propose a novel \emph{R}eal-time \emph{A}udio-guided \emph{M}ulti-face reenactment approach named \emph{APB2FaceV2}, which can reenact different target faces among multiple persons with corresponding reference face and drive audio signal as inputs. Enabling the model to be trained end-to-end and have a faster speed, we design a novel module named Adaptive Convolution (AdaConv) to infuse audio information into the network, as well as adopt a lightweight network as our backbone so that the network can run in real time on CPU and GPU. Comparison experiments prove the superiority of our approach than existing state-of-the-art methods, and further experiments demonstrate that our method is efficient and flexible for practical applications https://github.com/zhangzjn/APB2FaceV2
• Abstract（参考訳）: 音声誘導顔再現は、入力された音声と表情が一致したフォトリアリスティック顔を生成することを目的としている。 しかし、モデルがトレーニングされたり、3dレンダリングや画像のポストフュージョンといった余分な操作が必要な場合にのみ、現在のメソッドは特別な人物を再現することができる。 上記の課題を解決するために,複数人物の異なるターゲット面を対応する参照顔で再現し,音声信号を入力として駆動する,新規なemph{R}eal-time \emph{A}udio-guided \emph{M}ulti-face reenactment approach \emph{APB2FaceV2}を提案する。 モデルをエンドツーエンドでトレーニングし、より高速に実行できるように、我々はAdaptive Convolution(AdaConv)と呼ばれる新しいモジュールを設計し、ネットワークにオーディオ情報を注入し、バックボーンとして軽量ネットワークを採用して、ネットワークをCPUやGPU上でリアルタイムに実行できるようにします。 比較実験は、既存の最先端手法よりもアプローチの優位性を証明し、さらなる実験により、我々の手法が実用アプリケーションに対して効率的かつ柔軟であることを示す。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Parametric Implicit Face Representation for Audio-Driven Facial Reenactment [52.33618333954383]
  本稿では,制御可能かつ高品質な発話ヘッドを生成可能な,新しい音声駆動型顔再現フレームワークを提案する。 具体的には、パラメトリックな暗示表現は、3次元顔モデルの解釈可能なパラメータで暗示表現をパラメータ化する。 提案手法は,話者の身元や話し方に忠実な従来手法よりも現実的な結果が得られる。
  論文  参考訳（メタデータ） (2023-06-13T07:08:22Z)
• GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation [71.73912454164834]
  音声-リップ同期の汎用化, 画質の向上, システム効率の向上が期待できる。 NeRFは、数分間のトレーニングビデオで高忠実で3D一貫性のある会話顔生成を実現することができるため、この分野で一般的な技術となっている。 そこで我々は,これらの課題に対処するためにGeneFace++を提案し,ピッチの輪郭を補助的特徴として利用し,顔の動き予測プロセスに時間的損失を導入する。
  論文  参考訳（メタデータ） (2023-05-01T12:24:09Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• Synthetic Expressions are Better Than Real for Learning to Detect Facial Actions [4.4532095214807965]
  提案手法は,各映像フレームから顔の3次元形状を再構成し,その3次元メッシュを標準視に整列し,GANネットワークをトレーニングして,顔のアクションユニットによる新規画像の合成を行う。 このネットワークは、合成された表情を訓練し、実際の表情を訓練し、現在の最先端のアプローチを上回った。
  論文  参考訳（メタデータ） (2020-10-21T13:11:45Z)
• APB2Face: Audio-guided face reenactment with auxiliary pose and blink signals [15.89326520522585]
  音声誘導型顔再現は、実際の人物に話しかける時と同じ顔の動きを維持しながら、音声情報を用いて写実的な顔を生成することを目的としている。 既存の方法では、鮮やかな顔画像を生成したり、低解像度の顔だけを再現できないため、アプリケーションの価値は制限される。 本稿では,Geometry Predictor と FaceReenactor モジュールからなる新しいディープニューラルネットワーク APB2Face を提案する。
  論文  参考訳（メタデータ） (2020-04-30T03:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。