論文の概要: Imitating Arbitrary Talking Style for Realistic Audio-DrivenTalking Face Synthesis

• arxiv url: http://arxiv.org/abs/2111.00203v1
• Date: Sat, 30 Oct 2021 08:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 17:27:06.244105
• Title: Imitating Arbitrary Talking Style for Realistic Audio-DrivenTalking Face Synthesis
• Title（参考訳）: リアルな音声駆動型顔合成のための任意発話スタイルの省略
• Authors: Haozhe Wu, Jia Jia, Haoyu Wang, Yishun Dou, Chao Duan, Qingshan Deng
• Abstract要約: 本稿では,特定の参照ビデオの任意の発話スタイルを模倣することにより,音声合成フレームワークにスタイルを注入することを提案する。 我々は,スタイルコードから発声スタイルを模倣して,スタイリングされた音声を合成する潜在スタイル融合(LSF)モデルを考案した。
• 参考スコア（独自算出の注目度）: 17.650661515807993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People talk with diversified styles. For one piece of speech, different talking styles exhibit significant differences in the facial and head pose movements. For example, the "excited" style usually talks with the mouth wide open, while the "solemn" style is more standardized and seldomly exhibits exaggerated motions. Due to such huge differences between different styles, it is necessary to incorporate the talking style into audio-driven talking face synthesis framework. In this paper, we propose to inject style into the talking face synthesis framework through imitating arbitrary talking style of the particular reference video. Specifically, we systematically investigate talking styles with our collected \textit{Ted-HD} dataset and construct style codes as several statistics of 3D morphable model~(3DMM) parameters. Afterwards, we devise a latent-style-fusion~(LSF) model to synthesize stylized talking faces by imitating talking styles from the style codes. We emphasize the following novel characteristics of our framework: (1) It doesn't require any annotation of the style, the talking style is learned in an unsupervised manner from talking videos in the wild. (2) It can imitate arbitrary styles from arbitrary videos, and the style codes can also be interpolated to generate new styles. Extensive experiments demonstrate that the proposed framework has the ability to synthesize more natural and expressive talking styles compared with baseline methods.
• Abstract（参考訳）: 人々は多様化したスタイルで話します。 1つのスピーチでは、異なる話し方が顔と頭の動きに顕著な違いを示す。 例えば、"excited"スタイルは口を大きく開けて話すのが一般的だが、"solemn"スタイルはより標準化され、しばしば誇張された動きを示す。 このような異なるスタイルの違いのため、音声駆動型音声合成フレームワークに話し方を統合する必要がある。 本稿では,特定の参照ビデオの任意の発話スタイルを模倣することにより,音声合成フレームワークにスタイルを注入することを提案する。 具体的には,収集した \textit{Ted-HD} データセットを用いて発話スタイルを体系的に検討し,3D morphable model~(3DMM) パラメータの統計値としてスタイルコードを構築する。 その後、スタイルコードから会話スタイルを模倣してスタイリッシュな話し顔を合成するために、潜伏型融合モデル(lsf)を考案する。 1) スタイルには何の注釈も必要とせず, 会話スタイルは, 野放しの会話ビデオから教師なしの方法で学習される。 (2)任意のビデオから任意のスタイルを模倣することができ、スタイルコードを補間して新しいスタイルを生成することもできる。 広範な実験により,提案フレームワークは,ベースライン手法と比較して,より自然で表現豊かな発話スタイルを合成できることが証明された。

関連論文リスト

• MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
  トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。 MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。 私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
  論文  参考訳（メタデータ） (2024-10-09T10:12:37Z)
• StyleTalk++: A Unified Framework for Controlling the Speaking Styles of Talking Heads [46.749597670092484]
  既存のワンショット音声ヘッド方式では、最終ビデオで様々な話し方を生成することができない。 本稿では,参照ビデオから発話スタイルを得ることができるワンショットスタイル制御可能な話し顔生成法を提案する。 本手法は,1つのポートレート画像と1つの音声クリップから,多様な話し方で視覚的に発話するヘッドビデオを生成する。
  論文  参考訳（メタデータ） (2024-09-14T03:49:38Z)
• SVP: Style-Enhanced Vivid Portrait Talking Head Diffusion Model [66.34929233269409]
  トーキングヘッドジェネレーション(THG)は、デジタル人間、映画制作、バーチャルリアリティーなど様々な分野の幅広い応用分野において重要な課題である。 本稿では,THGのスタイル関連情報をフル活用したSVP(Style-Enhanced Vivid Portrait)を提案する。 我々のモデルは、本質的なスタイルを柔軟に制御できる多様な、鮮明で高品質なビデオを生成し、既存の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2024-09-05T06:27:32Z)
• Say Anything with Any Style [9.50806457742173]
  Anything withAny Styleは、学習したスタイルのコードブックで生成モデルを介して、個別のスタイル表現をクエリします。 提案手法は, リップ同期とスタイル表現の両方の観点から, 最先端の手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-11T01:20:03Z)
• Mimic: Speaking Style Disentanglement for Speech-Driven 3D Facial Animation [41.489700112318864]
  音声駆動型3D顔アニメーションは、音声と正確に同期し、独特の話し方にマッチする鮮やかな顔アニメーションを合成することを目的としている。 本稿では,任意の発話スタイルの符号化を可能にする,革新的な発話スタイルのアンタングル化手法を提案する。 また,顔の動きから話し方や内容の絡み合った表現を学習する「textbfMimic」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T01:49:42Z)
• AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation [49.4220768835379]
  AdaMeshは、適応的な音声駆動の顔アニメーションアプローチである。 約10秒間の参照ビデオから、パーソナライズされた話し方を学ぶ。 鮮やかな表情と頭部のポーズを生成する。
  論文  参考訳（メタデータ） (2023-10-11T06:56:08Z)
• DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation via Diffusion Models [24.401443462720135]
  本稿では,拡散モデルとスタイルエンコーダを組み合わせた生成フレームワークであるDiffPoseTalkを提案する。 特に、私たちのスタイルには、頭部ポーズの生成が含まれており、それによってユーザの知覚が向上する。 高品質な映像データセットから再構成された3DMMパラメータをモデルに学習することで,3D音声データ不足に対処する。
  論文  参考訳（メタデータ） (2023-09-30T17:01:18Z)
• StyleTalk: One-shot Talking Head Generation with Controllable Speaking Styles [43.12918949398099]
  ワンショットスタイル制御可能な音声顔生成フレームワークを提案する。 任意の参照音声ビデオから話し方を得る。 それから、ワンショットのポートレートを駆動して、レファレンスな話し方と、別の音声で話す。
  論文  参考訳（メタデータ） (2023-01-03T13:16:24Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• Spoken Style Learning with Multi-modal Hierarchical Context Encoding for Conversational Text-to-Speech Synthesis [59.27994987902646]
  歴史的会話から話し言葉のスタイルを学習する研究は、まだ初期段階にある。 歴史的会話の書き起こしのみが考慮され、歴史的スピーチの話し方を無視している。 マルチモーダル階層型コンテキスト符号化を用いた音声スタイル学習手法を提案する。
  論文  参考訳（メタデータ） (2021-06-11T08:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。