論文の概要: Accented Speech Recognition With Accent-specific Codebooks

• arxiv url: http://arxiv.org/abs/2310.15970v3
• Date: Fri, 27 Oct 2023 02:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 10:51:56.332604
• Title: Accented Speech Recognition With Accent-specific Codebooks
• Title（参考訳）: アクセント固有のコードブックを用いたアクセント音声認識
• Authors: Darshan Prabhu, Preethi Jyothi, Sriram Ganapathy, Vinit Unni
• Abstract要約: 音声アクセントは最先端の自動音声認識(ASR)システムに重大な課題をもたらす。 あまり表現されないアクセントによる性能低下は、ASRの包括的採用に対する深刻な抑止力である。 トレーニング可能なコードブックを用いたクロスアテンションを用いた,エンドツーエンドのASRシステムに対するアクセント適応手法を提案する。
• 参考スコア（独自算出の注目度）: 53.288874858671576
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Speech accents pose a significant challenge to state-of-the-art automatic speech recognition (ASR) systems. Degradation in performance across underrepresented accents is a severe deterrent to the inclusive adoption of ASR. In this work, we propose a novel accent adaptation approach for end-to-end ASR systems using cross-attention with a trainable set of codebooks. These learnable codebooks capture accent-specific information and are integrated within the ASR encoder layers. The model is trained on accented English speech, while the test data also contained accents which were not seen during training. On the Mozilla Common Voice multi-accented dataset, we show that our proposed approach yields significant performance gains not only on the seen English accents (up to $37\%$ relative improvement in word error rate) but also on the unseen accents (up to $5\%$ relative improvement in WER). Further, we illustrate benefits for a zero-shot transfer setup on the L2Artic dataset. We also compare the performance with other approaches based on accent adversarial training.
• Abstract（参考訳）: 音声アクセントは最先端の自動音声認識(ASR)システムに重大な課題をもたらす。 あまり表現されないアクセントによる性能低下は、ASRの包括的採用に対する深刻な抑止力である。 本研究では,トレーニング可能なコードブックを用いたクロスアテンションを用いた,エンドツーエンドのASRシステムに対するアクセント適応手法を提案する。 これらの学習可能なコードブックはアクセント固有の情報をキャプチャし、ASRエンコーダ層に統合される。 モデルはアクセント付き英語音声で訓練されるが、テストデータには訓練中に見られなかったアクセントも含まれていた。 mozilla common voice multi-accented datasetでは、提案手法が英語のアクセント(単語誤り率の相対的改善)だけでなく、目に見えないアクセント(werでは最大$5\$$$の相対的改善)にも大きなパフォーマンス向上をもたらすことを示した。 さらに、L2Articデータセット上でゼロショット転送設定の利点を説明する。 また,アクセント対向訓練に基づく他の手法との比較を行った。

関連論文リスト

• Accent conversion using discrete units with parallel data synthesized from controllable accented TTS [56.18382038512251]
  アクセント変換(AC)の目的は、コンテンツと話者のアイデンティティを保ちながら、アクセントを変換することである。 従来の手法では、推論中に参照発話が必要であったり、話者のアイデンティティを十分に保持していなかったり、ネイティブでないアクセントごとにのみトレーニング可能な1対1のシステムを使用していた。 本稿では,これらの問題を克服するために,多くのアクセントをネイティブに変換する,有望なACモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T19:52:10Z)
• Improving Self-supervised Pre-training using Accent-Specific Codebooks [48.409296549372414]
  自己教師型学習のためのアクセント認識適応技術 Mozilla Common Voiceデータセットでは、提案手法は他のアクセント適応手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-04T08:33:52Z)
• AccentFold: A Journey through African Accents for Zero-Shot ASR Adaptation to Target Accents [5.746007214645182]
  本稿では、学習したアクセント埋め込み間の空間的関係を利用して自動音声認識(ASR)を改善するAccentFoldを提案する。 100以上のアフリカのアクセントを表す音声埋め込みの探索分析により,興味深い空間的アクセント関係が明らかとなった。 本研究は,言語的関係を活用して,ターゲットアクセントへのASR適応を改善する可能性を強調した。
  論文  参考訳（メタデータ） (2024-02-02T05:38:59Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition [18.154258453839066]
  我々は、ネイティブな米国英語音声をアクセント付き発音に変換するアクセント変換モデル(ACM)を改善した。 我々はACM訓練に音声知識を取り入れ、合成波形における発音パターンの再現性について正確なフィードバックを提供する。 ネイティブ・イングリッシュ・データセットと非ネイティブ・イングリッシュ・データセットに対する我々のアプローチを評価し、合成アクセント付きデータにより、アクセントの出現した音声をよりよく理解できるようになったことを発見した。
  論文  参考訳（メタデータ） (2023-03-01T20:05:19Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Black-box Adaptation of ASR for Accented Speech [52.63060669715216]
  我々は,ターゲットアクセントからの音声にブラックボックス,クラウドベースのASRシステムを適用する問題を紹介した。 そこで我々は,オープンソースアクセント調整型ローカルモデルとブラックボックスサービスとの結合を新たに提案する。 本アルゴリズムは,既存の単語レベルの組み合わせ手法よりもアクセントエラーの修正が優れている。
  論文  参考訳（メタデータ） (2020-06-24T07:07:49Z)
• Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech [23.30022534796909]
  アクセント変換(AC)は、話者の声の音色を維持しながら、非ネイティブ話者のアクセントをネイティブアクセントに変換する。 本稿では,アクセント変換の適用性の向上と品質向上のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T08:09:58Z)
• AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition [3.028098724882708]
  まず、ロバストなASRシステムのトレーニングとテストのために、非ネイティブアクセントで音声サンプルの精度の高いデータベースを作成するための重要な要件について説明する。 次に、私たちによって収集された4つのインド英語アクセントのサンプルを含む、そのようなデータベースであるAccentDBを紹介します。 アクセント分類モデルをいくつか提示し, アクセントクラスに対して徹底的に評価する。
  論文  参考訳（メタデータ） (2020-05-16T12:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。