論文の概要: Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection

• arxiv url: http://arxiv.org/abs/2412.08651v1
• Date: Tue, 26 Nov 2024 06:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:28:41.835497
• Title: Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection
• Title（参考訳）: 非リーク性CTC損失とディープ言語後部インジェクションを利用したコードスイッチングASRの強化
• Authors: Tzu-Ting Yang, Hsin-Wei Wang, Yi-Cheng Wang, Berlin Chen,
• Abstract要約: 多言語話者が会話中に言語を交互に切り替えるコードスイッチングは、エンドツーエンド(E2E)自動音声認識(ASR)システムに重大な課題をもたらす。 まず、エンコーダの中間層に言語識別情報を組み込んで、より詳細な言語情報による出力埋め込みを強化することを目的としています。 第二に、言語境界アライメント損失の新たな応用により、後続のASRモジュールは、言語後続の知識をより効果的に活用することができる。
• 参考スコア（独自算出の注目度）: 9.696145679371213
• License:
• Abstract: Code-switching-where multilingual speakers alternately switch between languages during conversations-still poses significant challenges to end-to-end (E2E) automatic speech recognition (ASR) systems due to phenomena of both acoustic and semantic confusion. This issue arises because ASR systems struggle to handle the rapid alternation of languages effectively, which often leads to significant performance degradation. Our main contributions are at least threefold: First, we incorporate language identification (LID) information into several intermediate layers of the encoder, aiming to enrich output embeddings with more detailed language information. Secondly, through the novel application of language boundary alignment loss, the subsequent ASR modules are enabled to more effectively utilize the knowledge of internal language posteriors. Third, we explore the feasibility of using language posteriors to facilitate deep interaction between shared encoder and language-specific encoders. Through comprehensive experiments on the SEAME corpus, we have verified that our proposed method outperforms the prior-art method, disentangle based mixture-of-experts (D-MoE), further enhancing the acuity of the encoder to languages.
• Abstract（参考訳）: 会話中に言語を交互に切り替えるコードスイッチング方式の多言語話者は、音響的・意味的混同の現象により、エンド・ツー・エンド(E2E)自動音声認識(ASR)システムに重大な課題をもたらす。 この問題は、ASRシステムが言語の急速な変更を効果的に扱うのに苦労しているために起こり、しばしば性能が著しく低下する。 まず、エンコーダの中間層に言語識別(LID)情報を組み込んで、より詳細な言語情報による出力埋め込みを強化することを目的としています。 第二に、言語境界アライメント損失の新たな応用により、後続のASRモジュールは、言語後続の知識をより効果的に活用することができる。 第三に、共有エンコーダと言語固有のエンコーダとの深い相互作用を促進するために、言語後部の使用の可能性を検討する。 提案手法は,SEAMEコーパスの包括的実験により,従来の手法であるD-MoEよりも優れた性能を示し,エンコーダの言語への適用性を高めた。

関連論文リスト

• Adapting Whisper for Code-Switching through Encoding Refining and Language-Aware Decoding [27.499426765845705]
  コードスイッチング自動音声認識(ASR)はアクセント、聴覚的類似性、シームレスな言語スイッチによる言語混乱による課題に直面している。 我々は,大規模多言語事前学習音声認識モデルであるWhisperを,エンコーダ部とデコーダ部の両方からCSに適応させる。
  論文  参考訳（メタデータ） (2024-12-21T07:06:44Z)
• Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection [49.27067541740956]
  音声感情認識(SER)は、人間とコンピュータの自然な相互作用が可能な汎用AIエージェントを開発する上で重要な要素である。 英語や中国語以外の言語でラベル付きデータが不足しているため、堅牢な多言語SERシステムの構築は依然として困難である。 本稿では,低SERリソース言語におけるSERの性能向上のための手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:36:45Z)
• An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement [9.28943772676672]
  コードスイッチング現象は、自動音声認識を妨げる大きな障害である。 エンコーダの下層層が言語間音響情報を捕捉できるようにするために, 新たなアンタングルメント損失を導入する。 提案手法は,事前訓練されたデュアルエンコーダを用いた先行技術よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-02-27T04:08:59Z)
• Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition [5.3545957730615905]
  ASRモデルのエンコーダの中間層に言語識別情報を導入する。 言語切替処理におけるモデルの混乱を軽減し,言語区別を暗黙的に意味する音響的特徴を生成することを目的としている。
  論文  参考訳（メタデータ） (2023-12-15T07:46:35Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Reducing language context confusion for end-to-end code-switching automatic speech recognition [50.89821865949395]
  本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。 複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:39:29Z)
• Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching [41.88097793717185]
  Code-Switching (CS) は多言語コミュニティでよく見られる言語現象である。 本稿では,マンダリン・イングリッシュCS音声におけるエンドツーエンド音声認識の検討について述べる。
  論文  参考訳（メタデータ） (2021-12-19T17:31:15Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• Meta-Transfer Learning for Code-Switched Speech Recognition [72.84247387728999]
  低リソース環境下でのコード切替音声認識システムにおける学習を伝達するメタトランスファー学習法を提案する。 本モデルでは,コードスイッチングデータに最適化を条件付けることにより,個々の言語を識別し,混合言語音声をよりよく認識できるように変換する。
  論文  参考訳（メタデータ） (2020-04-29T14:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。