Fugu-MT 論文翻訳(概要): Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment

論文の概要: Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment

arxiv url: http://arxiv.org/abs/2309.09470v1
Date: Mon, 18 Sep 2023 04:08:02 GMT
ステータス: 処理完了
システム内更新日: 2023-09-19 15:10:42.817456
Title: Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment
Title（参考訳）: メモリベース顔音声アライメントを用いた顔駆動ゼロショット音声変換
Authors: Zheng-Yan Sheng, Yang Ai, Yan-Nian Chen, Zhen-Hua Ling
Abstract要約: 本稿では,顔画像に基づくゼロショット音声変換(ゼロショットFaceVC)を提案する。この課題に対処するために,フェースボイスメモリを用いたゼロショットFaceVC法を提案する。ゼロショットFaceVCタスクにおける提案手法の優位性を示す。
参考スコア（独自算出の注目度）: 33.55724004790504
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a novel task, zero-shot voice conversion based on face images (zero-shot FaceVC), which aims at converting the voice characteristics of an utterance from any source speaker to a newly coming target speaker, solely relying on a single face image of the target speaker. To address this task, we propose a face-voice memory-based zero-shot FaceVC method. This method leverages a memory-based face-voice alignment module, in which slots act as the bridge to align these two modalities, allowing for the capture of voice characteristics from face images. A mixed supervision strategy is also introduced to mitigate the long-standing issue of the inconsistency between training and inference phases for voice conversion tasks. To obtain speaker-independent content-related representations, we transfer the knowledge from a pretrained zero-shot voice conversion model to our zero-shot FaceVC model. Considering the differences between FaceVC and traditional voice conversion tasks, systematic subjective and objective metrics are designed to thoroughly evaluate the homogeneity, diversity and consistency of voice characteristics controlled by face images. Through extensive experiments, we demonstrate the superiority of our proposed method on the zero-shot FaceVC task. Samples are presented on our demo website.
Abstract（参考訳）: 本稿では,顔画像に基づくゼロショット音声変換(ゼロショットFaceVC)を提案する。これは,ターゲット話者の単一顔画像にのみ依存して,任意の話者からの発話の音声特性を新たなターゲット話者に変換することを目的としている。この課題に対処するために,フェースボイスメモリを用いたゼロショットFaceVC法を提案する。本手法では,これら2つのモダリティを整列させるために,スロットがブリッジとして機能するメモリベースの顔声調アライメントモジュールを活用し,顔画像から音声特性をキャプチャする。また、音声変換タスクにおける訓練と推論の相違の長期的問題を軽減するため、複合的な監視戦略も導入されている。話者非依存のコンテンツ関連表現を得るために,事前訓練されたゼロショット音声変換モデルからゼロショットFaceVCモデルに知識を伝達する。 FaceVCと従来の音声変換タスクの違いを考慮すると、顔画像によって制御される音声特性の均一性、多様性、一貫性を、体系的主観的および客観的に評価するように設計されている。広範にわたる実験を通して、ゼロショットFaceVCタスクにおける提案手法の優位性を示す。サンプルはデモwebサイトで公開しています。

関連論文リスト

Seeing Your Speech Style: A Novel Zero-Shot Identity-Disentanglement Face-based Voice Conversion [5.483488375189695]
顔に基づく音声変換(FVC)は、顔画像を利用してターゲット話者の音声スタイルを生成する新しいタスクである。先行研究は,(1)話者の音声識別情報に整合した顔埋め込みの獲得に苦しむこと,(2)コンテンツと話者識別情報を音声入力から切り離すのに不適切であること,の2つの欠点がある。上記の2つの制限を克服する新しいFVC手法であるID-FaceVCを提案する。
論文参考訳（メタデータ） (2024-09-01T11:51:18Z)
Hear Your Face: Face-based voice conversion with F0 estimation [18.66502308601214]
本稿では,人物の顔画像からのみ派生した,顔に基づく音声変換フレームワークを提案する。本フレームワークは, 優れた音声認識品質と, 顔の特徴と音声特性の整合性を示す。
論文参考訳（メタデータ） (2024-08-19T08:47:03Z)
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
論文参考訳（メタデータ） (2023-11-24T04:30:31Z)
Parametric Implicit Face Representation for Audio-Driven Facial Reenactment [52.33618333954383]
本稿では,制御可能かつ高品質な発話ヘッドを生成可能な,新しい音声駆動型顔再現フレームワークを提案する。具体的には、パラメトリックな暗示表現は、3次元顔モデルの解釈可能なパラメータで暗示表現をパラメータ化する。提案手法は,話者の身元や話し方に忠実な従来手法よりも現実的な結果が得られる。
論文参考訳（メタデータ） (2023-06-13T07:08:22Z)
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文参考訳（メタデータ） (2023-05-15T01:31:32Z)
Zero-shot personalized lip-to-speech synthesis with face image based voice control [41.17483247506426]
顔画像から対応する音声を予測するLip-to-Speech(Lip2Speech)合成は、様々なモデルや訓練戦略で大きく進歩している。顔画像が話者の身元を制御するゼロショットパーソナライズされたLip2Speech合成法を提案する。
論文参考訳（メタデータ） (2023-05-09T02:37:29Z)
Facetron: Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations [22.14238843571225]
個人の顔の映像を条件付けして、話者固有の音声波形を合成する効果的な方法を提案する。唇読解モデルを用いて唇の動きから言語的特徴を抽出し,顔画像から話者特性を予測する。本稿では,従来の手法よりも客観評価と主観評価の両面において,提案手法の優位性を示す。
論文参考訳（メタデータ） (2021-07-26T07:36:02Z)
Controlled AutoEncoders to Generate Faces from Voices [30.062970046955577]
学習された音声と顔の相関によって暗黙的に顔の特徴が導かれるように、所定の声に反応して対象の顔を変化させる枠組みを提案する。我々はVoxCelabとVGGFaceのデータセットの枠組みを人体と顔検索を通して評価した。
論文参考訳（メタデータ） (2021-07-16T16:04:29Z)
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
論文参考訳（メタデータ） (2021-06-18T13:50:38Z)
Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。我々は1枚の写真のみを識別基準として生の顔画像を操作する。私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
論文参考訳（メタデータ） (2021-04-22T15:10:26Z)
MakeItTalk: Speaker-Aware Talking-Head Animation [49.77977246535329]
本稿では,音声を入力として1つの顔画像から表現力のある音声音声を生成する手法を提案する。この中間表現に基づいて,本手法は全音声頭部の映像を全動作域で合成することができる。
論文参考訳（メタデータ） (2020-04-27T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。