論文の概要: Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2103.13329v1
• Date: Wed, 10 Mar 2021 17:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 01:01:18.887177
• Title: Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks
• Title（参考訳）: 生成対立ネットワークを用いた事前学習したエンドツーエンド音声認識の微調整
• Authors: Md Akmal Haidar and Mehdi Rezagholizadeh
• Abstract要約: 近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。 GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。 提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
• 参考スコア（独自算出の注目度）: 10.723935272906461
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Adversarial training of end-to-end (E2E) ASR systems using generative adversarial networks (GAN) has recently been explored for low-resource ASR corpora. GANs help to learn the true data representation through a two-player min-max game. However, training an E2E ASR model using a large ASR corpus with a GAN framework has never been explored, because it might take excessively long time due to high-variance gradient updates and face convergence issues. In this paper, we introduce a novel framework for fine-tuning a pre-trained ASR model using the GAN objective where the ASR model acts as a generator and a discriminator tries to distinguish the ASR output from the real data. Since the ASR model is pre-trained, we hypothesize that the ASR model output (soft distribution vectors) helps to get higher scores from the discriminator and makes the task of the discriminator harder within our GAN framework, which in turn improves the performance of the ASR model in the fine-tuning stage. Here, the pre-trained ASR model is fine-tuned adversarially against the discriminator using an additional adversarial loss. Experiments on full LibriSpeech dataset show that our proposed approach outperforms baselines and conventional GAN-based adversarial models.
• Abstract（参考訳）: GAN(Generative Adversarial Network)を用いたエンド・ツー・エンド(E2E)ASRシステムの逆トレーニングを低リソースASRコーパスに対して行った。 GANは、2プレイヤーのmin-maxゲームを通して真のデータ表現を学ぶのに役立つ。 しかし、ganフレームワークを用いた大規模asrコーパスを用いたe2e asrモデルのトレーニングは、高分散勾配更新と顔収束問題のために過度に時間がかかる可能性があるため、検討されていない。 本稿では,asrモデルが生成器として動作し,判別器が実データとasr出力を区別しようとするgan目的を用いて,事前学習したasrモデルを微調整する新しい枠組みを提案する。 ASRモデルが事前学習されているため、ASRモデル出力(ソフト分布ベクトル)が判別器からより高いスコアを得るのに役立ち、GANフレームワーク内で識別器のタスクを困難にすることで、微調整段階におけるASRモデルの性能を向上させることができると仮定する。 ここでは、事前学習されたASRモデルを、追加の対向損失を用いて判別器に対して微調整する。 完全なLibriSpeechデータセットを用いた実験により,提案手法はベースラインや従来のGANベースの逆数モデルよりも優れていることがわかった。

関連論文リスト

• Transferable Adversarial Attacks against ASR [43.766547483367795]
  最先端自動音声認識モデルにおける実用的なブラックボックス攻撃の脆弱性について検討する。 そこで本稿では,ASRに対する音声認識勾配最適化手法(SAGO)を提案する。 総合的な実験結果から,2つのデータベース上の5つのモデルにまたがるベースラインアプローチと比較して,性能が向上したことが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-14T06:32:31Z)
• Crossmodal ASR Error Correction with Discrete Speech Units [16.58209270191005]
  ASR誤り訂正(AEC)に対するASR後処理手法を提案する。 我々は、事前学習と微調整の戦略を探求し、ASRドメインの不一致現象を明らかにする。 そこで本稿では,AEC品質向上のための単語埋め込みの整合・強化を目的とした,離散音声ユニットの組込みを提案する。
  論文  参考訳（メタデータ） (2024-05-26T19:58:38Z)
• DifAugGAN: A Practical Diffusion-style Data Augmentation for GAN-based Single Image Super-resolution [88.13972071356422]
  本稿では,DifAugGAN として知られる GAN ベースの画像超解像法(SR) のための拡散型データ拡張手法を提案する。 それは、訓練中の判別器の校正を改善するために、生成拡散モデルに拡散過程を適用することを含む。 我々のDifAugGANは、現在のGANベースのSISR手法のプラグ・アンド・プレイ戦略であり、判別器の校正を改善し、SR性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-11-30T12:37:53Z)
• End-to-End Speech Recognition: A Survey [68.35707678386949]
  本調査の目的は、E2E ASRモデルの分類とそれに対応する改善を提供することである。 E2E ASRのすべての関連する側面は、パフォーマンスとデプロイメントの機会に関する議論を伴う、この作業でカバーされている。
  論文  参考訳（メタデータ） (2023-03-03T01:46:41Z)
• Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models [27.414693266500603]
  攻撃対象の敵攻撃は、自動音声認識システムに攻撃テキストを出力させる音声サンプルを生成する。 近年の研究では、大きなASRモデルに対する転送性は非常に難しいことが示されている。 現代のASRアーキテクチャ、特にセルフ・スーパーバイザード・ラーニングに基づくアーキテクチャは、実際にトランスファービリティーに対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-09-17T15:01:26Z)
• Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
  音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる ASR誤差はカスケード法における出力要約の品質に直接影響する。 本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
  論文  参考訳（メタデータ） (2021-11-16T03:00:29Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Improving RNN Transducer Based ASR with Auxiliary Tasks [21.60022481898402]
  単一ニューラルネットワークを用いたエンドツーエンド自動音声認識(ASR)モデルは、最近最先端の結果を実証した。 本研究では,リカレントニューラルネットワークトランスデューサ(RNN-T)が補助タスクを実行することで,より優れたASR精度を実現する方法を検討する。
  論文  参考訳（メタデータ） (2020-11-05T21:46:32Z)
• Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling [76.43479696760996]
  本稿では,ストリーミングとフルコンテキスト音声認識の両方に共通重みを持つ単一エンドツーエンドのASRモデルをトレーニングするための統合フレームワークであるDual-mode ASRを提案する。 そこで本研究では,ストリーミングASRのレイテンシと精度が,重み共有とフルコンテキストASRの連成訓練のメリットを顕著に示す。
  論文  参考訳（メタデータ） (2020-10-12T21:12:56Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。