論文の概要: FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis

• arxiv url: http://arxiv.org/abs/2207.03800v1
• Date: Fri, 8 Jul 2022 10:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 13:33:47.043381
• Title: FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis
• Title（参考訳）: FastLTS:非自己回帰的終端制約なしリップ・トゥ・音声合成
• Authors: Yongqi Wang and Zhou Zhao
• Abstract要約: 我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。 実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 77.06890315052563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unconstrained lip-to-speech synthesis aims to generate corresponding speeches from silent videos of talking faces with no restriction on head poses or vocabulary. Current works mainly use sequence-to-sequence models to solve this problem, either in an autoregressive architecture or a flow-based non-autoregressive architecture. However, these models suffer from several drawbacks: 1) Instead of directly generating audios, they use a two-stage pipeline that first generates mel-spectrograms and then reconstructs audios from the spectrograms. This causes cumbersome deployment and degradation of speech quality due to error propagation; 2) The audio reconstruction algorithm used by these models limits the inference speed and audio quality, while neural vocoders are not available for these models since their output spectrograms are not accurate enough; 3) The autoregressive model suffers from high inference latency, while the flow-based model has high memory occupancy: neither of them is efficient enough in both time and memory usage. To tackle these problems, we propose FastLTS, a non-autoregressive end-to-end model which can directly synthesize high-quality speech audios from unconstrained talking videos with low latency, and has a relatively small model size. Besides, different from the widely used 3D-CNN visual frontend for lip movement encoding, we for the first time propose a transformer-based visual frontend for this task. Experiments show that our model achieves $19.76\times$ speedup for audio waveform generation compared with the current autoregressive model on input sequences of 3 seconds, and obtains superior audio quality.
• Abstract（参考訳）: unconstrained lip-to-speech synthesisは、頭部のポーズや語彙に制限のない、話し手のサイレントビデオから対応する音声を生成することを目的としている。 現在の作業では、主にシーケンス・ツー・シーケンスのモデルを使用して、自動回帰アーキテクチャやフローベースの非自己回帰アーキテクチャでこの問題を解決する。 しかし、これらのモデルにはいくつかの欠点がある。 1)直接音声を生成する代わりに、2段階のパイプラインを使用してメルスペクトログラムを生成し、その後スペクトログラムからオーディオを再構築する。 これは、誤り伝播による音声品質の不安定な展開と劣化を引き起こす。 2) これらのモデルが用いた音声再構成アルゴリズムは推論速度と音質を制限しているが,出力スペクトルが十分でないため,ニューラルボコーダはこれらのモデルでは利用できない。 3) 自己回帰モデルは高い推論遅延に悩まされる一方,フローベースモデルは高いメモリ占有率を持つ。 これらの問題に対処するために、FastLTSを提案する。これは、低レイテンシで制約なしの音声ビデオから直接高品質な音声音声を合成でき、比較的小さなモデルサイズである。 また,口唇運動符号化に広く使われている3d-cnn視覚フロントエンドと異なり,本課題に対して初めてトランスフォーマーベースの視覚フロントエンドを提案する。 実験の結果,本モデルでは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声波形生成の速度アップが19.76ドルに達し,優れた音質が得られることがわかった。

関連論文リスト

• Autoregressive Diffusion Transformer for Text-to-Speech Synthesis [39.32761051774537]
  連続空間$mathbb Rd$のベクトル列として音響を符号化し、これらの列を自己回帰的に生成する。 高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。
  論文  参考訳（メタデータ） (2024-06-08T18:57:13Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation [71.73912454164834]
  音声-リップ同期の汎用化, 画質の向上, システム効率の向上が期待できる。 NeRFは、数分間のトレーニングビデオで高忠実で3D一貫性のある会話顔生成を実現することができるため、この分野で一般的な技術となっている。 そこで我々は,これらの課題に対処するためにGeneFace++を提案し,ピッチの輪郭を補助的特徴として利用し,顔の動き予測プロセスに時間的損失を導入する。
  論文  参考訳（メタデータ） (2023-05-01T12:24:09Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
  本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。 我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T09:07:30Z)
• WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis [80.60577805727624]
  WaveGrad 2は音声合成のための非自己回帰生成モデルである。 最先端のニューラルTSシステムの性能に近づき、高忠実度オーディオを生成することができる。
  論文  参考訳（メタデータ） (2021-06-17T17:09:21Z)
• End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
  GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。 本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。 このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
  論文  参考訳（メタデータ） (2021-04-27T17:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。