Fugu-MT 論文翻訳(概要): Hear Your Face: Face-based voice conversion with F0 estimation

論文の概要: Hear Your Face: Face-based voice conversion with F0 estimation

arxiv url: http://arxiv.org/abs/2408.09802v1
Date: Mon, 19 Aug 2024 08:47:03 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 17:04:37.417808
Title: Hear Your Face: Face-based voice conversion with F0 estimation
Title（参考訳）: 顔を聴く:F0推定による顔に基づく音声変換
Authors: Jaejun Lee, Yoori Oh, Injune Hwang, Kyogu Lee,
Abstract要約: 本稿では,人物の顔画像からのみ派生した,顔に基づく音声変換フレームワークを提案する。本フレームワークは, 優れた音声認識品質と, 顔の特徴と音声特性の整合性を示す。
参考スコア（独自算出の注目度）: 18.66502308601214
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper delves into the emerging field of face-based voice conversion, leveraging the unique relationship between an individual's facial features and their vocal characteristics. We present a novel face-based voice conversion framework that particularly utilizes the average fundamental frequency of the target speaker, derived solely from their facial images. Through extensive analysis, our framework demonstrates superior speech generation quality and the ability to align facial features with voice characteristics, including tracking of the target speaker's fundamental frequency.
Abstract（参考訳）: 本論文は、顔の特徴と声質との関係を生かして、顔に基づく音声変換の新たな分野を掘り下げるものである。本稿では,ターゲット話者の平均基本周波数を顔画像のみから導出した,顔に基づく音声変換フレームワークを提案する。広範に分析することで,対象話者の基本周波数の追跡を含む,顔の特徴と音声特徴とを一致させることのできる,優れた音声生成品質を示す。

関連論文リスト

RealTalk: Real-time and Realistic Audio-driven Face Generation with 3D Facial Prior-guided Identity Alignment Network [48.95833484103569]
RealTalkは、音声から表現へのトランスフォーマーであり、高忠実な表現から顔へのフレームワークである。第1成分として, 口唇運動に関連する個人性および個人内変動の特徴について考察した。第2のコンポーネントでは、軽量な顔認証アライメント(FIA)モジュールを設計する。この新しい設計により、高度で非効率な特徴アライメントモジュールに依存することなく、リアルタイムに細部を生成できる。
論文参考訳（メタデータ） (2024-06-26T12:09:59Z)
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
論文参考訳（メタデータ） (2023-11-24T04:30:31Z)
Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment [33.55724004790504]
本稿では,顔画像に基づくゼロショット音声変換(ゼロショットFaceVC)を提案する。この課題に対処するために,フェースボイスメモリを用いたゼロショットFaceVC法を提案する。ゼロショットFaceVCタスクにおける提案手法の優位性を示す。
論文参考訳（メタデータ） (2023-09-18T04:08:02Z)
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文参考訳（メタデータ） (2023-05-15T01:31:32Z)
Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。本稿では,音声による表情合成手法であるImitatorについて述べる。提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
論文参考訳（メタデータ） (2022-12-30T19:00:02Z)
Voice Quality and Pitch Features in Transformer-Based Speech Recognition [3.921076451326107]
本研究では,トランスフォーマーに基づくASRモデルに対して,音声品質とピッチ特徴を完全かつ個別に取り入れることの効果について検討した。 We found mean Word Error Rate relative reductions to up 5.6% with the LibriSpeech benchmark。
論文参考訳（メタデータ） (2021-12-21T17:49:06Z)
Facetron: Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations [22.14238843571225]
個人の顔の映像を条件付けして、話者固有の音声波形を合成する効果的な方法を提案する。唇読解モデルを用いて唇の動きから言語的特徴を抽出し,顔画像から話者特性を予測する。本稿では,従来の手法よりも客観評価と主観評価の両面において,提案手法の優位性を示す。
論文参考訳（メタデータ） (2021-07-26T07:36:02Z)
Controlled AutoEncoders to Generate Faces from Voices [30.062970046955577]
学習された音声と顔の相関によって暗黙的に顔の特徴が導かれるように、所定の声に反応して対象の顔を変化させる枠組みを提案する。我々はVoxCelabとVGGFaceのデータセットの枠組みを人体と顔検索を通して評価した。
論文参考訳（メタデータ） (2021-07-16T16:04:29Z)
High Fidelity Speech Regeneration with Application to Speech Enhancement [96.34618212590301]
本稿では,24khz音声をリアルタイムに生成できる音声のwav-to-wav生成モデルを提案する。音声変換法に着想を得て,音源の同一性を保ちながら音声特性を増強する訓練を行った。
論文参考訳（メタデータ） (2021-01-31T10:54:27Z)
MakeItTalk: Speaker-Aware Talking-Head Animation [49.77977246535329]
本稿では,音声を入力として1つの顔画像から表現力のある音声音声を生成する手法を提案する。この中間表現に基づいて,本手法は全音声頭部の映像を全動作域で合成することができる。
論文参考訳（メタデータ） (2020-04-27T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。