論文の概要: AISHELL6-whisper: A Chinese Mandarin Audio-visual Whisper Speech Dataset with Speech Recognition Baselines

• arxiv url: http://arxiv.org/abs/2509.23833v1
• Date: Sun, 28 Sep 2025 12:14:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.47552
• Title: AISHELL6-whisper: A Chinese Mandarin Audio-visual Whisper Speech Dataset with Speech Recognition Baselines
• Title（参考訳）: AISHELL6-whisper: 音声認識ベースライン付き中国語マンダリン音声視覚Whisper音声データセット
• Authors: Cancan Li, Fei Su, Juan Liu, Hui Bu, Yulong Wan, Hongbin Suo, Ming Li,
• Abstract要約: AISHELL6-Whisperは,大規模オープンソースの音声-視覚的ささやき音声データセットである。 本稿ではWhisper-Flamingoフレームワークに基づく音声視覚音声認識(AVSR)ベースラインを提案する。 本モデルでは, データセットのテストセットにおいて, ささやき音声の文字誤り率(CER)を4.13%, 正常音声の1.11%とする。
• 参考スコア（独自算出の注目度）: 27.195821342473877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whisper speech recognition is crucial not only for ensuring privacy in sensitive communications but also for providing a critical communication bridge for patients under vocal restraint and enabling discrete interaction in noise-sensitive environments. The development of Chinese mandarin audio-visual whisper speech recognition is hindered by the lack of large-scale datasets. We present AISHELL6-Whisper, a large-scale open-source audio-visual whisper speech dataset, featuring 30 hours each of whisper speech and parallel normal speech, with synchronized frontal facial videos. Moreover, we propose an audio-visual speech recognition (AVSR) baseline based on the Whisper-Flamingo framework, which integrates a parallel training strategy to align embeddings across speech types, and employs a projection layer to adapt to whisper speech's spectral properties. The model achieves a Character Error Rate (CER) of 4.13% for whisper speech and 1.11% for normal speech in the test set of our dataset, and establishes new state-of-the-art results on the wTIMIT benchmark. The dataset and the AVSR baseline codes are open-sourced at https://zutm.github.io/AISHELL6-Whisper.
• Abstract（参考訳）: ウィスパー音声認識は、感度の高い通信におけるプライバシを確保するだけでなく、声の抑制を受ける患者に重要なコミュニケーションブリッジを提供し、ノイズに敏感な環境における個別の相互作用を可能にするためにも重要である。 中国のマンダリン音声-視覚的ささやき音声認識の開発は、大規模なデータセットの欠如によって妨げられている。 AISHELL6-Whisperは、大規模なオープンソースの音声-視覚的ささやき音声データセットで、それぞれ30時間ごとのささやき声とパラレルノーマルスピーチと、同期された前頭顔面ビデオが特徴である。 さらに,Whisper-Flamingoフレームワークに基づく音声視覚音声認識(AVSR)ベースラインを提案する。 本モデルでは,データセットのテストセットにおいて,ささやき音声の4.13%,正常音声の1.11%の文字誤り率(CER)を達成し,wTIMITベンチマークで新たな最先端結果を確立する。 データセットとAVSRのベースラインコードはhttps://zutm.github.io/AISHELL6-Whisperでオープンソース化されている。

関連論文リスト

• Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation [45.29184681700463]
  Whisperのような音声モデルは、数十万時間のデータで訓練されているため、より良い音声からテキストへのデコーダを学ぶことができる。 本稿では,Whisper音声認識と翻訳モデルに視覚的特徴を統合するWhisper-Flamingoを提案する。 LRS3 では最先端の ASR WER (0.68%) と AVSR WER (0.76%) を, LRS2 では最先端の ASR WER (1.3%) と AVSR WER (1.4%) を達成した。
  論文  参考訳（メタデータ） (2024-06-14T14:36:54Z)
• XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception [62.660135152900615]
  音声認識と翻訳システムではノイズの多い入力が不十分である。 XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
  論文  参考訳（メタデータ） (2024-03-21T13:52:17Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup for Visual Speech Translation and Recognition [51.412413996510814]
  視覚音声の訓練を正規化するために音声音声を利用する多目的自己学習フレームワークであるMixSpeechを提案する。 MixSpeechは雑音の多い環境での音声翻訳を強化し、AVMuST-TED上でのBLEUスコアを+1.4から+4.2に改善した。
  論文  参考訳（メタデータ） (2023-03-09T14:58:29Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• SpeechStew: Simply Mix All Available Speech Recognition Data to Train One Large Neural Network [45.59907668722702]
  本研究では,公開音声認識データセットの組み合わせで学習した音声認識モデルである speechstew を提案する。 結果はAMI-IHMの9.0% WER、Switchboardの4.7% WER、CallHomeの8.3% WER、WSJの1.3%である。 また, speechstew が強力な転送学習表現を学習することを示す。
  論文  参考訳（メタデータ） (2021-04-05T20:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。