論文の概要: Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
- arxiv url: http://arxiv.org/abs/2412.16530v1
- Date: Sat, 21 Dec 2024 08:15:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:52:49.507562
- Title: Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
- Title（参考訳）: 直接音声音声合成におけるリップ同期の改善
- Authors: Lucas Goncalves, Prashant Mathur, Xing Niu, Brady Houston, Chandrashekhar Lavania, Srikanth Vishnubhotla, Lijia Sun, Anthony Ferritto,
- Abstract要約: 提案手法は直接音声音声音声合成におけるリップ同期を著しく向上させる。
翻訳品質を損なうことなく、オリジナルビデオにオーバーレイした場合の翻訳音声の自然さと質を維持する。
- 参考スコア（独自算出の注目度）: 15.039553663794315
- License:
- Abstract: Audio-Visual Speech-to-Speech Translation typically prioritizes improving translation quality and naturalness. However, an equally critical aspect in audio-visual content is lip-synchrony-ensuring that the movements of the lips match the spoken content-essential for maintaining realism in dubbed videos. Despite its importance, the inclusion of lip-synchrony constraints in AVS2S models has been largely overlooked. This study addresses this gap by integrating a lip-synchrony loss into the training process of AVS2S models. Our proposed method significantly enhances lip-synchrony in direct audio-visual speech-to-speech translation, achieving an average LSE-D score of 10.67, representing a 9.2% reduction in LSE-D over a strong baseline across four language pairs. Additionally, it maintains the naturalness and high quality of the translated speech when overlaid onto the original video, without any degradation in translation quality.
- Abstract（参考訳）: 音声音声から音声への翻訳は、典型的には翻訳の質と自然性を改善することを優先する。
しかし、音声・視覚コンテンツにおける等しく重要な側面は、唇の動きが、ビデオのリアリズムを維持するために、音声コンテンツにマッチするように、リップ・シンフォニー・サスティメント(英語版)である。
その重要性にもかかわらず、AVS2Sモデルにリップシンフォニー制約が組み込まれていることはほとんど見過ごされている。
本研究では,AVS2Sモデルのトレーニングプロセスにリップ同期損失を組み込むことにより,このギャップを解消する。
提案手法は,LSE-Dのスコアが平均10.67で,LSE-Dが4つの言語対にまたがる強いベースラインよりも9.2%減少していることを示す。
さらに、翻訳品質を劣化させることなく、オリジナルビデオにオーバーレイした場合の翻訳音声の自然性や質も維持する。
関連論文リスト
- XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception [62.660135152900615]
音声認識と翻訳システムではノイズの多い入力が不十分である。
XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
論文 参考訳（メタデータ） (2024-03-21T13:52:17Z) - AV-TranSpeech: Audio-Visual Robust Speech-to-Speech Translation [55.1650189699753]
音声から音声への直接翻訳(S2ST)は、ある言語から別の言語への変換を目的としており、現在までに顕著な進歩を見せている。
現在のS2STモデルは相変わらずノイズの多い環境での劣化に悩まされ、視覚音声の翻訳に失敗している。
AV-TranSpeechは、中間テキストに依存しない最初の音声-視覚音声-音声合成モデルである。
論文 参考訳（メタデータ） (2023-05-24T17:59:03Z) - Seeing What You Said: Talking Face Generation Guided by a Lip Reading
Expert [89.07178484337865]
音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。
従来の研究では、唇音の同期と視覚的品質が重要であった。
そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-29T07:51:07Z) - MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup
for Visual Speech Translation and Recognition [51.412413996510814]
視覚音声の訓練を正規化するために音声音声を利用する多目的自己学習フレームワークであるMixSpeechを提案する。
MixSpeechは雑音の多い環境での音声翻訳を強化し、AVMuST-TED上でのBLEUスコアを+1.4から+4.2に改善した。
論文 参考訳（メタデータ） (2023-03-09T14:58:29Z) - Jointly Optimizing Translations and Speech Timing to Improve Isochrony
in Automatic Dubbing [71.02335065794384]
生成した翻訳の翻訳時間と発話時間を直接最適化するモデルを提案する。
本システムでは,システムアーキテクチャを簡素化しつつ,前処理よりも発話のタイミングによく適合する音声を生成する。
論文 参考訳（メタデータ） (2023-02-25T04:23:25Z) - LipSound2: Self-Supervised Pre-Training for Lip-to-Speech Reconstruction
and Lip Reading [24.744371143092614]
本研究の目的は、ビデオ中の音声と視覚ストリームの自然な共起を利用して、音声再構成(ビデオから音声)のためのクロスモーダル自己教師による事前学習の効果を検討することである。
本稿では,エンコーダ・デコーダアーキテクチャと位置認識型アテンション機構を組み合わせたLipSound2を提案する。
論文 参考訳（メタデータ） (2021-12-09T08:11:35Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳（メタデータ） (2021-10-11T00:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。