論文の概要: Code-Switching Text Augmentation for Multilingual Speech Processing

• arxiv url: http://arxiv.org/abs/2201.02550v1
• Date: Fri, 7 Jan 2022 17:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 15:42:01.868722
• Title: Code-Switching Text Augmentation for Multilingual Speech Processing
• Title（参考訳）: 多言語音声処理のためのコードスイッチングテキスト拡張
• Authors: Amir Hussein, Shammur Absar Chowdhury, Ahmed Abdelali, Najim Dehak, Ahmed Ali
• Abstract要約: 音声コンテンツのコードスイッチングは、混合入力を処理するためにASRシステムに強制されている。 近年のASR研究は,多言語データを用いたCS現象の処理におけるE2E-ASRの優位性を示した。 音声CSテキストを人工的に生成し、異なる音声モジュールを改善するためのモノリンガルデータを強化する手法を提案する。
• 参考スコア（独自算出の注目度）: 36.302629721413155
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The pervasiveness of intra-utterance Code-switching (CS) in spoken content has enforced ASR systems to handle mixed input. Yet, designing a CS-ASR has many challenges, mainly due to the data scarcity, grammatical structure complexity, and mismatch along with unbalanced language usage distribution. Recent ASR studies showed the predominance of E2E-ASR using multilingual data to handle CS phenomena with little CS data. However, the dependency on the CS data still remains. In this work, we propose a methodology to augment the monolingual data for artificially generating spoken CS text to improve different speech modules. We based our approach on Equivalence Constraint theory while exploiting aligned translation pairs, to generate grammatically valid CS content. Our empirical results show a relative gain of 29-34 % in perplexity and around 2% in WER for two ecological and noisy CS test sets. Finally, the human evaluation suggests that 83.8% of the generated data is acceptable to humans.
• Abstract（参考訳）: 音声コンテンツにおける発話内コードスイッチング(CS)の広範性は、混合入力を処理するためにASRシステムに強制されている。 しかし、CS-ASRの設計には多くの課題があり、主にデータ不足、文法構造の複雑さ、不均衡な言語使用量分布とミスマッチがある。 近年のASR研究は,多言語データを用いてCS現象を少ないCSデータで処理するE2E-ASRの優位性を示した。 しかし、CSデータへの依存は依然として残っている。 本研究では,音声CSテキストを人工的に生成し,音声モジュールを改良するための単言語データの拡張手法を提案する。 我々は,同値制約理論に基づく一組の翻訳ペアを利用して,文法的に有効なCSコンテンツを生成する。 実験の結果,2つの生態学的および雑音性CS試験セットでは,29～34 %,WERは約2%の上昇を示した。 最後に、人間の評価は、生成したデータの83.8%が人間に受け入れられていることを示唆している。

関連論文リスト

• ConCSE: Unified Contrastive Learning and Augmentation for Code-Switched Embeddings [4.68732641979009]
  本稿では、2つの言語が1つの発話の中で交わるコードスイッチング(CS)現象について検討する。 我々は、他の言語におけるCSの現在の等価制約(EC)理論は、部分的にしか英語と韓国のCSの複雑さを捉えていないことを強調した。 我々は,このような課題を緩和するために,英語と韓国のCSシナリオに適した新しいKoglishデータセットを提案する。
  論文  参考訳（メタデータ） (2024-08-28T11:27:21Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
  Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
  論文  参考訳（メタデータ） (2023-09-27T14:17:53Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• Investigating Lexical Replacements for Arabic-English Code-Switched Data Augmentation [32.885722714728765]
  CS (code-switching) NLPシステムにおけるデータ拡張手法について検討する。 単語整列並列コーパスを用いて語彙置換を行う。 これらのアプローチを辞書ベースの置換と比較する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:36Z)
• Reducing language context confusion for end-to-end code-switching automatic speech recognition [50.89821865949395]
  本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。 複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:39:29Z)
• Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching [41.88097793717185]
  Code-Switching (CS) は多言語コミュニティでよく見られる言語現象である。 本稿では,マンダリン・イングリッシュCS音声におけるエンドツーエンド音声認識の検討について述べる。
  論文  参考訳（メタデータ） (2021-12-19T17:31:15Z)
• KARI: KAnari/QCRI's End-to-End systems for the INTERSPEECH 2021 Indian Languages Code-Switching Challenge [7.711092265101041]
  本稿では,低リソースのインド言語に対するICS(Interspeech 2021 Code-switching)チャレンジに参加するために使用される,Kanari/QCRIシステムとモデリング戦略について述べる。 このサブタスクには、ヒンディー語とベンガル語という2つのCSデータセットのための音声認識システムの開発が含まれていた。 CSの課題に対処するために、公開のモノリンガルヒンディー語、ベンガル語、英語の音声データを取り入れるためにトランスファーラーニングを利用する。
  論文  参考訳（メタデータ） (2021-06-10T16:12:51Z)
• Style Variation as a Vantage Point for Code-Switching [54.34370423151014]
  Code-Switching (CS) は、複数のバイリンガルコミュニティや多言語コミュニティでよく見られる現象である。 両言語間のスタイルのバリエーションとして,CSの新たな特徴点を提示する。 本稿では,第1段階がCSの競合負例を生成し,第2段階がより現実的なCS文を生成する2段階生成逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T15:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。