論文の概要: Longer is (Not Necessarily) Stronger: Punctuated Long-Sequence Training for Enhanced Speech Recognition and Translation

• arxiv url: http://arxiv.org/abs/2409.05601v1
• Date: Mon, 9 Sep 2024 13:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:39:56.558328
• Title: Longer is (Not Necessarily) Stronger: Punctuated Long-Sequence Training for Enhanced Speech Recognition and Translation
• Title（参考訳）: より長く(必然的に)強い:強化音声認識と翻訳のための句読取長行訓練
• Authors: Nithin Rao Koluguri, Travis Bartley, Hainan Xu, Oleksii Hrinchuk, Jagadeesh Balam, Boris Ginsburg, Georg Kucsko,
• Abstract要約: 適切な句読解と大文字化を伴う完全文を含む長文発話の訓練を提案する。 我々は、FastConformerアーキテクチャを使用して、最大60秒のシーケンスを持つ10億のパラメータモデルを、十分に注意を払って訓練することができる。 提案手法は,Earnings-21およびEarnings-22ベンチマークにおいて,25%の相対的単語誤り率(WER)が向上し,句読点とキャピタライゼーション精度が大幅に向上する。
• 参考スコア（独自算出の注目度）: 19.680897295356907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new method for training sequence-to-sequence models for speech recognition and translation tasks. Instead of the traditional approach of training models on short segments containing only lowercase or partial punctuation and capitalization (PnC) sentences, we propose training on longer utterances that include complete sentences with proper punctuation and capitalization. We achieve this by using the FastConformer architecture which allows training 1 Billion parameter models with sequences up to 60 seconds long with full attention. However, while training with PnC enhances the overall performance, we observed that accuracy plateaus when training on sequences longer than 40 seconds across various evaluation settings. Our proposed method significantly improves punctuation and capitalization accuracy, showing a 25% relative word error rate (WER) improvement on the Earnings-21 and Earnings-22 benchmarks. Additionally, training on longer audio segments increases the overall model accuracy across speech recognition and translation benchmarks. The model weights and training code are open-sourced though NVIDIA NeMo.
• Abstract（参考訳）: 本稿では,音声認識タスクと翻訳タスクのためのシーケンス・ツー・シーケンスモデルのトレーニング手法を提案する。 従来の訓練モデルでは、小文字や部分句読点・大文字化(PnC)文のみを含む短節の訓練ではなく、適切な句読点・大文字化文を含む長文の訓練を提案する。 我々は、FastConformerアーキテクチャを用いて、最大60秒のシーケンスを持つ10億のパラメータモデルを、十分に注意を払って訓練することができる。 しかし, PnC を用いたトレーニングは全体的な性能を向上させる一方で, 各種評価設定における40秒以上のシーケンスのトレーニングでは, 精度が低下することがわかった。 提案手法は,Earnings-21およびEarnings-22ベンチマークにおいて,25%の相対的単語誤り率(WER)が向上し,句読点とキャピタライゼーション精度が大幅に向上する。 さらに、長い音声セグメントのトレーニングは、音声認識や翻訳ベンチマーク全体にわたって、全体のモデルの精度を高める。 NVIDIA NeMoはモデルウェイトとトレーニングコードをオープンソースとして公開している。

関連論文リスト

• Revisiting Image Captioning Training Paradigm via Direct CLIP-based Optimization [44.008094698200026]
  我々はDirect CLIP-Based Optimization (DiCO)と呼ばれる新しいトレーニングパラダイムを提案する。 提案手法は,高い相関性を有する学習可能なキャプション評価器から抽出した報酬モデルを共同で学習し,最適化する。 DiCOは、生成されたキャプションの安定性の向上と品質の向上だけでなく、既存の方法に比べて人間の好みと密接に一致している。
  論文  参考訳（メタデータ） (2024-08-26T18:00:33Z)
• End-to-End Speech Recognition Contextualization with Large Language Models [25.198480789044346]
  本稿では,Large Language Models (LLM) を取り入れた音声認識モデルの文脈化手法を提案する。 音声機能とコンテクスト用のオプションテキストトークンを提供し、デコーダのみの方法でシステムに書き起こしを訓練する。 実験の結果,追加のテキストコンテキストが提供されると,WERが6%削減され,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-09-19T20:28:57Z)
• Robust Speech Recognition via Large-Scale Weak Supervision [69.63329359286419]
  インターネット上での大量の音声の書き起こしを単純に予測するために訓練された音声処理システムの能力について検討する。 マルチランガルとマルチタスクの監視を680,000時間にスケールすると、結果は標準ベンチマークによく当てはまる。 私たちは、堅牢な音声処理のさらなる研究の基盤となるために、モデルと推論コードをリリースしています。
  論文  参考訳（メタデータ） (2022-12-06T18:46:04Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• Injecting Text in Self-Supervised Speech Pretraining [33.676479965610774]
  我々は,2つの異なるモーダル(音声とテキスト)から事前学習中の表現を共同学習することを提案する。 tts4pretrainは自己スーパービジョンにおけるコントラスト学習のパワーを補完する。 We demonstrate Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task。
  論文  参考訳（メタデータ） (2021-08-27T11:36:40Z)
• Meta-Learning for Short Utterance Speaker Recognition with Imbalance Length Pairs [65.28795726837386]
  不均衡長ペアのためのメタラーニングフレームワークを提案する。 長い発話のサポートセットと様々な長さの短い発話のクエリセットでトレーニングする。 これら2つの学習スキームを組み合わせることで、既存の最先端話者検証モデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-04-06T17:53:14Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。