論文の概要: XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception

• arxiv url: http://arxiv.org/abs/2403.14402v1
• Date: Thu, 21 Mar 2024 13:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:09:01.279117
• Title: XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception
• Title（参考訳）: XLAVS-R:ノイズ・ロバスト音声知覚のための言語間音声・ビジュアル音声表現学習
• Authors: HyoJung Han, Mohamed Anwar, Juan Pino, Wei-Ning Hsu, Marine Carpuat, Bowen Shi, Changhan Wang,
• Abstract要約: 音声認識と翻訳システムではノイズの多い入力が不十分である。 XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
• 参考スコア（独自算出の注目度）: 62.660135152900615
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Speech recognition and translation systems perform poorly on noisy inputs, which are frequent in realistic environments. Augmenting these systems with visual signals has the potential to improve robustness to noise. However, audio-visual (AV) data is only available in limited amounts and for fewer languages than audio-only resources. To address this gap, we present XLAVS-R, a cross-lingual audio-visual speech representation model for noise-robust speech recognition and translation in over 100 languages. It is designed to maximize the benefits of limited multilingual AV pre-training data, by building on top of audio-only multilingual pre-training and simplifying existing pre-training schemes. Extensive evaluation on the MuAViC benchmark shows the strength of XLAVS-R on downstream audio-visual speech recognition and translation tasks, where it outperforms the previous state of the art by up to 18.5% WER and 4.7 BLEU given noisy AV inputs, and enables strong zero-shot audio-visual ability with audio-only fine-tuning.
• Abstract（参考訳）: 音声認識と翻訳システムは、現実的な環境で頻繁に発生するノイズの多い入力に対して、性能が良くない。 これらのシステムを視覚信号で拡張することは、ノイズに対する堅牢性を改善する可能性がある。 しかし、オーディオ・ヴィジュアル(AV)データは限られた量でしか使えず、音声のみのリソースよりも少ない言語でしか利用できない。 このギャップに対処するため,100以上の言語で音声認識・翻訳を行う言語間音声視覚表現モデルXLAVS-Rを提案する。 音声のみの多言語事前学習の上に構築し、既存の事前学習スキームを簡素化することにより、限られた多言語AV事前学習データの利点を最大化するように設計されている。 MuAViCベンチマークの広範囲な評価は、XLAVS-Rが下流の音声視覚音声認識および翻訳タスクにおいて、ノイズの多いAV入力を与えられた18.5%のWERと4.7のBLEUに上回り、オーディオのみの微調整で強力なゼロショットオーディオ視覚能力を実現する。

関連論文リスト

• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation [58.72068260933836]
  システムの入力と出力はマルチモーダル(音声と視覚)である 私たちは、自分の主要言語を利用することで、仮想ミーティングで世界中の個人とリアルタイムな会話を行うことができます。 音声モダリティのみを翻訳する音声音声合成(A2A)とは対照的に,提案したAV2AVは音声・視覚音声を直接翻訳する。
  論文  参考訳（メタデータ） (2023-12-05T05:36:44Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• AV-TranSpeech: Audio-Visual Robust Speech-to-Speech Translation [55.1650189699753]
  音声から音声への直接翻訳(S2ST)は、ある言語から別の言語への変換を目的としており、現在までに顕著な進歩を見せている。 現在のS2STモデルは相変わらずノイズの多い環境での劣化に悩まされ、視覚音声の翻訳に失敗している。 AV-TranSpeechは、中間テキストに依存しない最初の音声-視覚音声-音声合成モデルである。
  論文  参考訳（メタデータ） (2023-05-24T17:59:03Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。