論文の概要: Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition

• arxiv url: http://arxiv.org/abs/2312.09583v1
• Date: Fri, 15 Dec 2023 07:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 16:50:48.533411
• Title: Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
• Title（参考訳）: 符号切替音声認識のための中間CTC損失計算のための言語IDの活用
• Authors: Tzu-Ting Yang, Hsin-Wei Wang, Berlin Chen
• Abstract要約: ASRモデルのエンコーダの中間層に言語識別情報を導入する。 言語切替処理におけるモデルの混乱を軽減し,言語区別を暗黙的に意味する音響的特徴を生成することを目的としている。
• 参考スコア（独自算出の注目度）: 5.3545957730615905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, end-to-end speech recognition has emerged as a technology that integrates the acoustic, pronunciation dictionary, and language model components of the traditional Automatic Speech Recognition model. It is possible to achieve human-like recognition without the need to build a pronunciation dictionary in advance. However, due to the relative scarcity of training data on code-switching, the performance of ASR models tends to degrade drastically when encountering this phenomenon. Most past studies have simplified the learning complexity of the model by splitting the code-switching task into multiple tasks dealing with a single language and then learning the domain-specific knowledge of each language separately. Therefore, in this paper, we attempt to introduce language identification information into the middle layer of the ASR model's encoder. We aim to generate acoustic features that imply language distinctions in a more implicit way, reducing the model's confusion when dealing with language switching.
• Abstract（参考訳）: 近年,従来の音声認識モデルの音響,発音辞書,言語モデルコンポーネントを統合する技術として,エンドツーエンド音声認識が登場している。 事前の発音辞書を作成することなく、人間的な認識を実現することができる。 しかし、コードスイッチングに関するトレーニングデータが比較的少ないため、この現象に遭遇すると、ASRモデルの性能は劇的に低下する傾向にある。 コードスイッチングタスクを1つの言語を扱う複数のタスクに分割し、各言語のドメイン固有の知識を個別に学習することで、過去の研究はモデルの学習複雑さを単純化した。 そこで本稿では,ASRモデルのエンコーダの中間層に言語識別情報を導入する。 言語切替処理におけるモデルの混乱を軽減し,言語区別を暗黙的に意味する音響的特徴を生成することを目的としている。

関連論文リスト

• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting [45.161909551392085]
  自己条件CTCフレームワーク内にエンコーダプロンプト技術を導入し、ゼロショット方式でCTCモデルの言語固有の適応を可能にする。 提案手法は,低リソース言語では平均28%,低リソース言語では41%の誤差を著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-06-18T13:38:58Z)
• Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer [17.700515986659063]
  Code-Switching (CS) Multilingual Automatic Speech Recognition (ASR) モデルは会話中に2つ以上の交互言語を含む音声を転写することができる。 本稿では,純粋にモノリンガルなデータソースからASRデータセットをコードスイッチングする新しい手法を提案する。 新たな Concatenated Tokenizer により、ASR モデルは既存のモノリンガルトークンを再利用しながら、出力されたテキストトークンごとに言語IDを生成することができる。
  論文  参考訳（メタデータ） (2023-06-14T21:24:11Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Knowledge Transfer from Large-scale Pretrained Language Models to End-to-end Speech Recognizers [13.372686722688325]
  エンドツーエンド音声認識の訓練には、常に書き起こされた発話が必要である。 本稿では,テキストのみのデータで事前学習可能な言語モデルニューラルネットワークから知識を伝達することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T07:02:24Z)
• Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models [55.82292352607321]
  コードスイッチング(英: Code-switching, CS)は、複数の言語が文内で使用される日常会話において一般的である。 本稿では、最近成功した自己教師付き学習(SSL)手法を用いて、CSを使わずに多くのラベルなし音声データを活用する。
  論文  参考訳（メタデータ） (2021-10-07T14:43:35Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses [13.976935216584298]
  多言語音声認識の一般的なアプローチは、複数の単言語ASRシステムを並列に実行することである。 本研究では,音響レベルの表現とASR仮説に基づく埋め込みを学習し,組み合わせる手法を提案する。 処理コストとレイテンシを低減するため,我々はストリーミングアーキテクチャを利用して音声言語を早期に識別する。
  論文  参考訳（メタデータ） (2020-06-01T04:08:55Z)
• Meta-Transfer Learning for Code-Switched Speech Recognition [72.84247387728999]
  低リソース環境下でのコード切替音声認識システムにおける学習を伝達するメタトランスファー学習法を提案する。 本モデルでは,コードスイッチングデータに最適化を条件付けることにより,個々の言語を識別し,混合言語音声をよりよく認識できるように変換する。
  論文  参考訳（メタデータ） (2020-04-29T14:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。