論文の概要: MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation

• arxiv url: http://arxiv.org/abs/2303.00628v1
• Date: Wed, 1 Mar 2023 16:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 14:13:32.568835
• Title: MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
• Title（参考訳）: MuAViC:ロバスト音声認識とロバスト音声-テキスト翻訳のための多言語音声-ビジュアルコーパス
• Authors: Mohamed Anwar, Bowen Shi, Vedanuj Goswami, Wei-Ning Hsu, Juan Pino, Changhan Wang
• Abstract要約: 我々は,多言語音声視覚コーパスであるMuAViCを紹介した。 完全に書き起こされ、6つの英訳と6つの英訳の方向をカバーしている。 この結果から,MuAViCは音声認識・翻訳モデルの構築に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 44.53711548080296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MuAViC, a multilingual audio-visual corpus for robust speech recognition and robust speech-to-text translation providing 1200 hours of audio-visual speech in 9 languages. It is fully transcribed and covers 6 English-to-X translation as well as 6 X-to-English translation directions. To the best of our knowledge, this is the first open benchmark for audio-visual speech-to-text translation and the largest open benchmark for multilingual audio-visual speech recognition. Our baseline results show that MuAViC is effective for building noise-robust speech recognition and translation models. We make the corpus available at https://github.com/facebookresearch/muavic.
• Abstract（参考訳）: 我々は,9言語で1200時間音声-視覚音声を提供する,頑健な音声認識と頑健な音声-テキスト翻訳のための多言語音声-視覚コーパスであるMuAViCを紹介する。 完全に書き起こされ、6つの英訳と6つの英訳の方向をカバーしている。 我々の知る限り、これは音声-視覚音声-テキスト翻訳のための最初のオープンベンチマークであり、多言語音声-視覚音声認識のための最大のオープンベンチマークである。 この結果から,MuAViCは音声認識・翻訳モデルの構築に有効であることが示唆された。 コーパスはhttps://github.com/facebookresearch/muavicで利用可能です。

関連論文リスト

• XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception [62.660135152900615]
  音声認識と翻訳システムではノイズの多い入力が不十分である。 XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
  論文  参考訳（メタデータ） (2024-03-21T13:52:17Z)
• AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation [58.72068260933836]
  システムの入力と出力はマルチモーダル(音声と視覚)である 私たちは、自分の主要言語を利用することで、仮想ミーティングで世界中の個人とリアルタイムな会話を行うことができます。 音声モダリティのみを翻訳する音声音声合成(A2A)とは対照的に,提案したAV2AVは音声・視覚音声を直接翻訳する。
  論文  参考訳（メタデータ） (2023-12-05T05:36:44Z)
• SeamlessM4T: Massively Multilingual & Multimodal Machine Translation [90.71078166159295]
  音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。 我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。 FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。
  論文  参考訳（メタデータ） (2023-08-22T17:44:18Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• PolyVoice: Language Models for Speech to Speech Translation [50.31000706309143]
  PolyVoiceは音声音声翻訳のための言語モデルに基づくフレームワーク 我々は、完全に教師なしの方法で生成される離散化音声単位を使用する。 音声合成部では、既存のVALL-E Xアプローチを採用し、単位ベース音声言語モデルを構築する。
  論文  参考訳（メタデータ） (2023-06-05T15:53:15Z)
• SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations [38.058120432870126]
  SpeechMatrixは、音声から音声への翻訳の大規模多言語コーパスである。 136言語対の音声アライメントと、合計418万時間の音声を含む。
  論文  参考訳（メタデータ） (2022-11-08T19:09:27Z)
• The Multilingual TEDx Corpus for Speech Recognition and Translation [30.993199499048824]
  音声認識(ASR)および音声翻訳(ST)研究を支援するために構築された多言語TEDxコーパスについて述べる。 コーパスはTEDxの8つのソース言語による音声録音のコレクションである。 テキストを文に分割し、ソース言語音声とターゲット言語翻訳に合わせる。
  論文  参考訳（メタデータ） (2021-02-02T21:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。