論文の概要: DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility

• arxiv url: http://arxiv.org/abs/2503.05223v1
• Date: Fri, 07 Mar 2025 08:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:49.588547
• Title: DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
• Title（参考訳）: DiVISe:話者特性と知能を考慮した直接視覚入力音声合成
• Authors: Yifan Liu, Yu Fang, Zhouhan Lin,
• Abstract要約: DiVISeはビデオフレームから直接メルスペクトルを予測するエンドツーエンドのV2Sモデルである。 以上の結果から,DiVISeは既存のV2Sモデルよりも音響的信頼性が高いだけでなく,データやモデルパラメータの増大により,より効果的にスケールできることが示唆された。
• 参考スコア（独自算出の注目度）: 18.395223784732806
• License:
• Abstract: Video-to-speech (V2S) synthesis, the task of generating speech directly from silent video input, is inherently more challenging than other speech synthesis tasks due to the need to accurately reconstruct both speech content and speaker characteristics from visual cues alone. Recently, audio-visual pre-training has eliminated the need for additional acoustic hints in V2S, which previous methods often relied on to ensure training convergence. However, even with pre-training, existing methods continue to face challenges in achieving a balance between acoustic intelligibility and the preservation of speaker-specific characteristics. We analyzed this limitation and were motivated to introduce DiVISe (Direct Visual-Input Speech Synthesis), an end-to-end V2S model that predicts Mel-spectrograms directly from video frames alone. Despite not taking any acoustic hints, DiVISe effectively preserves speaker characteristics in the generated audio, and achieves superior performance on both objective and subjective metrics across the LRS2 and LRS3 datasets. Our results demonstrate that DiVISe not only outperforms existing V2S models in acoustic intelligibility but also scales more effectively with increased data and model parameters. Code and weights can be found at https://github.com/PussyCat0700/DiVISe.
• Abstract（参考訳）: サイレントビデオ入力から直接音声を生成するタスクであるビデオ音声合成(V2S)は、音声内容と話者特性の両方を視覚的手がかりだけで正確に再構成する必要があるため、他の音声合成タスクよりも本質的に困難である。 近年,V2Sの音響的ヒントを付加する必要がなくなった。 しかし, 事前学習においても, 既存の手法は, 音響的インテリジェンスと話者固有の特性の保存のバランスを保ちながら, 課題に直面し続けている。 我々は,この制限を解析し,ビデオフレームから直接メルスペクトルを予測するエンドツーエンドV2SモデルであるDiVISe(Direct Visual-Input Speech Synthesis)の導入を動機とした。 音響的ヒントを取らないにも関わらず、DiVISeは生成されたオーディオの話者特性を効果的に保存し、LSS2データセットとLSS3データセットの目的と主観の両方で優れたパフォーマンスを達成する。 以上の結果から,DiVISeは既存のV2Sモデルよりも音響的信頼性が高いだけでなく,データやモデルパラメータの増大により,より効果的にスケールできることが示唆された。 コードとウェイトはhttps://github.com/PussyCat0700/DiVISeで見ることができる。

関連論文リスト

• V2SFlow: Video-to-Speech Generation with Speech Decomposition and Rectified Flow [57.51550409392103]
  本稿では,V2SFlowについて紹介する。V2SFlowは,サイレント・トーキング・フェイス・ビデオから直接自然で分かりやすい音声を生成するために設計された,新しいビデオ音声合成(V2S)フレームワークである。 これらの課題に対処するため、音声信号を管理可能な部分空間に分解し、それぞれ異なる音声属性を表現し、視覚入力から直接予測する。 これらの予測属性からコヒーレントでリアルな音声を生成するために,Transformerアーキテクチャ上に構築された正流整合デコーダを用いる。
  論文  参考訳（メタデータ） (2024-11-29T05:55:20Z)
• DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding [52.84475402151201]
  自己教師付き事前学習モデルと即時チューニング技術を用いた視覚誘導型話者埋め込み抽出器を提案する。 さらに,DiffV2Sと呼ばれる拡散型音声合成モデルを開発し,これらの話者埋め込みと入力ビデオから抽出した視覚表現を条件とした。 実験結果から,DiffV2Sは従来の音声合成技術と比較して最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-08-15T14:07:41Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)
• ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement [40.29155338515071]
  ReVISEは、Wildビデオ音声合成のための最初の高品質なモデルである。 単一のモデルで全てのLRS3オーディオ視覚強調タスクにおいて優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-21T21:36:52Z)
• A Single Self-Supervised Model for Many Speech Modalities Enables Zero-Shot Modality Transfer [31.028408352051684]
  マルチモーダル音声と非モーダル音声の両方を活用できる自己教師型事前学習フレームワークであるu-HuBERTを提案する。 LRS3では1.2%/1.4%/27.2%の音声認識単語誤り率を示す。
  論文  参考訳（メタデータ） (2022-07-14T16:21:33Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
  本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。 私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
  論文  参考訳（メタデータ） (2022-05-04T13:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。