論文の概要: An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement

• arxiv url: http://arxiv.org/abs/2402.17189v1
• Date: Tue, 27 Feb 2024 04:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 17:52:47.774682
• Title: An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement
• Title（参考訳）: エンコーダの絡み合いを利用した符号切り換え音声認識のための実技混合手法
• Authors: Tzu-Ting Yang, Hsin-Wei Wang, Yi-Cheng Wang, Chi-Han Lin, and Berlin Chen
• Abstract要約: コードスイッチング現象は、自動音声認識を妨げる大きな障害である。 エンコーダの下層層が言語間音響情報を捕捉できるようにするために, 新たなアンタングルメント損失を導入する。 提案手法は,事前訓練されたデュアルエンコーダを用いた先行技術よりも優れていることを確認した。
• 参考スコア（独自算出の注目度）: 9.28943772676672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the massive developments of end-to-end (E2E) neural networks, recent years have witnessed unprecedented breakthroughs in automatic speech recognition (ASR). However, the codeswitching phenomenon remains a major obstacle that hinders ASR from perfection, as the lack of labeled data and the variations between languages often lead to degradation of ASR performance. In this paper, we focus exclusively on improving the acoustic encoder of E2E ASR to tackle the challenge caused by the codeswitching phenomenon. Our main contributions are threefold: First, we introduce a novel disentanglement loss to enable the lower-layer of the encoder to capture inter-lingual acoustic information while mitigating linguistic confusion at the higher-layer of the encoder. Second, through comprehensive experiments, we verify that our proposed method outperforms the prior-art methods using pretrained dual-encoders, meanwhile having access only to the codeswitching corpus and consuming half of the parameterization. Third, the apparent differentiation of the encoders' output features also corroborates the complementarity between the disentanglement loss and the mixture-of-experts (MoE) architecture.
• Abstract（参考訳）: エンドツーエンド(E2E)ニューラルネットワークの大規模発展に伴い、近年は自動音声認識(ASR)における前例のないブレークスルーが見られた。 しかし、ラベル付きデータの欠如と言語間の差異がしばしばASRの性能の低下につながるため、コードスイッチング現象はASRの完全性を妨げる大きな障害である。 本稿では,E2E ASRの音響エンコーダの改良に特化して,符号スイッチング現象による課題に対処する。 まず、エンコーダの下位層が、エンコーダの上位層における言語的混乱を緩和しつつ、言語間音響情報を捕捉できるようにするために、新しいアンタングルメント損失を導入する。 第2に,提案手法が事前訓練されたデュアルエンコーダを用いた先行技術よりも優れており,コードスイッチングコーパスにのみアクセスし,パラメータ化の半分を消費していることを示す。 第3に、エンコーダの出力特性の明らかな分化は、異方性損失とmoe(mixed-of-experts)アーキテクチャとの相補性も裏付ける。

関連論文リスト

• $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。 再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Rethinking Speech Recognition with A Multimodal Perspective via Acoustic and Semantic Cooperative Decoding [29.80299587861207]
  ASRのための音響・意味的協調デコーダ(ASCD)を提案する。 音響的特徴と意味的特徴を2つの異なる段階で処理するバニラデコーダとは異なり、ASCDはそれらを協調的に統合する。 音響情報と意味情報の両方を協調的に活用することにより,ASCDは性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-05-23T13:25:44Z)
• Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval [10.905033385938982]
  Masked Auto-Encoder (MAE) 事前トレーニングアーキテクチャが最も有望である。 本稿では,デコーダの難易度を高めるために,ポイントワイド相互情報に基づく新しいトークン重要マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:27:10Z)
• Denoising Diffusion Error Correction Codes [92.10654749898927]
  近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。 最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。 本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
  論文  参考訳（メタデータ） (2022-09-16T11:00:50Z)
• ASR Error Correction with Constrained Decoding on Operation Prediction [8.701142327932484]
  本稿では,修正操作の予測を利用したASR誤り訂正手法を提案する。 3つの公開データセットの実験では、デコードプロセスの遅延を低減するための提案手法の有効性が示されている。
  論文  参考訳（メタデータ） (2022-08-09T09:59:30Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder [64.55176104620848]
  NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。 後者は、前者から生成される様々な長の候補間のより良い翻訳を選択するために使用され、これは、無視できるオーバーヘッドを持つ大きな長のビームの有効性を劇的に向上させる。 4つのベンチマーク実験により、競合翻訳品質を維持しつつ、推論速度を向上させる手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-10-25T06:35:30Z)
• Class-Conditional Defense GAN Against End-to-End Speech Attacks [82.21746840893658]
  本稿では,DeepSpeech や Lingvo といった先進的な音声テキストシステムを騙すために開発された,エンドツーエンドの敵対攻撃に対する新しいアプローチを提案する。 従来の防御手法とは異なり、提案手法は入力信号のオートエンコードのような低レベル変換を直接利用しない。 我々の防衛GANは、単語誤り率と文レベルの認識精度において、従来の防衛アルゴリズムよりもかなり優れています。
  論文  参考訳（メタデータ） (2020-10-22T00:02:02Z)
• Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip [41.28049430114734]
  本稿では、ニューラルジョイント・ソース・チャネル符号化方式の安定性と堅牢性を改善するために、Infomax Adversarial-Bit-Flip (IABF) と呼ばれる新しい正規化手法を提案する。 我々のIABFは、圧縮と誤り訂正のベンチマークの両方で最先端のパフォーマンスを達成でき、ベースラインをかなりの差で上回ることができる。
  論文  参考訳（メタデータ） (2020-04-03T10:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。