Fugu-MT 論文翻訳(概要): Perceptual Conversational Head Generation with Regularized Driver and Enhanced Renderer

論文の概要: Perceptual Conversational Head Generation with Regularized Driver and Enhanced Renderer

arxiv url: http://arxiv.org/abs/2206.12837v1
Date: Sun, 26 Jun 2022 10:12:59 GMT
ステータス: 処理完了
システム内更新日: 2022-06-28 15:12:30.674484
Title: Perceptual Conversational Head Generation with Regularized Driver and Enhanced Renderer
Title（参考訳）: 正規化ドライバと拡張レンダを用いた知覚対話型ヘッド生成
Authors: Ailin Huang, Zhewei Huang, Shuchang Zhou
Abstract要約: 我々のソリューションは、正規化と高い視覚的品質の組み立てにより、一般化されたオーディオ・ツー・ヘッドドライバを訓練することに焦点を当てている。公式ランキングでは、聴取ヘッド生成トラックで1位、話しヘッド生成トラックで2位となる。
参考スコア（独自算出の注目度）: 4.201920674650052
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper reports our solution for MultiMedia ViCo 2022 Conversational Head Generation Challenge, which aims to generate vivid face-to-face conversation videos based on audio and reference images. Our solution focuses on training a generalized audio-to-head driver using regularization and assembling a high visual quality renderer. We carefully tweak the audio-to-behavior model and post-process the generated video using our foreground-background fusion module. We get first place in the listening head generation track and second place in the talking head generation track in the official ranking. Our code will be released.
Abstract（参考訳）: 本稿では,音声および参照画像に基づく対話映像の鮮明な生成を目的とした,MultiMedia ViCo 2022 Conversational Head Generation Challengeのソリューションについて報告する。我々のソリューションは、正規化と高画質レンダラーの組み立てによる一般化されたオーディオ・ツー・ヘッドドライバのトレーニングに焦点を当てている。我々は,前景・後景融合モジュールを用いて,音声対話モデルと生成映像のポスト処理を慎重に調整する。公式ランキングでは、聴取ヘッド生成トラックで1位、話しヘッド生成トラックで2位となる。私たちのコードはリリースされます。

関連論文リスト

LaDTalk: Latent Denoising for Synthesizing Talking Head Videos with High Frequency Details [14.22392871407274]
本稿では,写真リアリスティックな音声ヘッドビデオの合成に有効なポストプロセッシング手法を提案する。具体的には,基礎モデルとして事前訓練されたWav2Lipモデルを使用し,その堅牢なオーディオ-リップアライメント機能を活用している。以上の結果から,本手法は,最先端の映像品質とドメイン外リップ同期性能を実現することが示唆された。
論文参考訳（メタデータ） (2024-10-01T18:32:02Z)
One-Shot Pose-Driving Face Animation Platform [7.422568903818486]
我々は、Face LocatorとMotion Frame機構を統合することで、既存のImage2Videoモデルを洗練する。我々は、人間の顔ビデオデータセットを用いてモデルを最適化し、高品質な音声ヘッドビデオを作成する能力を大幅に向上させる。そこで我々は,Gradioフレームワークを用いたデモプラットフォームを開発し,プロセスの合理化を図り,ユーザがカスタマイズした音声ヘッドビデオを簡単に作成できるようにする。
論文参考訳（メタデータ） (2024-07-12T03:09:07Z)
Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。既存の拡散に基づく手法は、ビデオと音声を別々に生成する。本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
論文参考訳（メタデータ） (2024-02-27T17:57:04Z)
VividTalk: One-Shot Audio-Driven Talking Head Generation Based on 3D Hybrid Prior [28.737324182301652]
高品質な音声ヘッドビデオを生成するための2段階の汎用フレームワークを提案する。第1段階では、非剛性表現運動と剛性頭部運動を含む2つの動作を学習することにより、音声をメッシュにマッピングする。第2段階では,メッシュを高密度な動きに変換し,高品質なビデオフレームをフレーム単位で合成する,デュアルブランチモーションベとジェネレータを提案する。
論文参考訳（メタデータ） (2023-12-04T12:25:37Z)
Hierarchical Semantic Perceptual Listener Head Video Generation: A High-performance Pipeline [6.9329709955764045]
ViCo@2023 ACM Multimedia 2023 Conferenceにおける会話型ヘッドジェネレーションチャレンジ本稿は、ACM Multimedia 2023 conferenceにおけるViCo@2023 Conversational Head Generation Challengeのテクニカルレポートである。
論文参考訳（メタデータ） (2023-07-19T08:16:34Z)
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文参考訳（メタデータ） (2023-05-15T01:31:32Z)
GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis [62.297513028116576]
GeneFace は、汎用的で高忠実な NeRF ベースの話し顔生成法である。ヘッド・トルソ問題を解消するために,ヘッド・アウェア・トルソ・NeRFを提案する。
論文参考訳（メタデータ） (2023-01-31T05:56:06Z)
DiffTalk: Crafting Diffusion Models for Generalized Audio-Driven Portraits Animation [78.08004432704826]
我々は、音声による時間的コヒーレントな認知過程(DiffTalk)としてのトーキングヘッド生成をモデル化する。本稿では,話し顔の制御機構について検討し,人格認識型一般化合成の条件として,参照顔画像とランドマークを取り入れた。我々のDiffTalkは、無視できる余分な計算コストで高分解能な合成に適しています。
論文参考訳（メタデータ） (2023-01-10T05:11:25Z)
Audio2Head: Audio-driven One-shot Talking-head Generation with Natural Head Motion [34.406907667904996]
単一の参照画像から写真リアルなトーキングヘッド映像を生成するための音声駆動型トーキングヘッド手法を提案する。動き認識型リカレントニューラルネットワーク(RNN)を用いた剛性6次元頭部運動のモデル化により,まず頭部ポーズ予測器を設計する。そこで我々は,入力音声,頭部ポーズ,参照画像から高密度な運動場を生成する運動場生成装置を開発した。
論文参考訳（メタデータ） (2021-07-20T07:22:42Z)
AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis [55.24336227884039]
高忠実な会話ヘッドビデオを生成するための新しいフレームワークを紹介します。音声入力と映像出力のギャップを埋めるために,ニューラルシーン表現ネットワークを用いる。本フレームワークは,(1)高い忠実度と自然な結果を生み出すことができ,(2)音声信号,視線方向,背景画像の自由な調整をサポートする。
論文参考訳（メタデータ） (2021-03-20T02:58:13Z)
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose [67.31838207805573]
本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
論文参考訳（メタデータ） (2020-02-24T10:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。