論文の概要: Alignment-Free Training for Transducer-based Multi-Talker ASR

• arxiv url: http://arxiv.org/abs/2409.20301v1
• Date: Mon, 30 Sep 2024 13:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 10:12:47.500586
• Title: Alignment-Free Training for Transducer-based Multi-Talker ASR
• Title（参考訳）: トランスデューサを用いたマルチスケジューラASRのアライメントフリートレーニング
• Authors: Takafumi Moriya, Shota Horiguchi, Marc Delcroix, Ryo Masumura, Takanori Ashihara, Hiroshi Sato, Kohei Matsuura, Masato Mimura,
• Abstract要約: マルチストーカーRNNT(MT-RNNT)は、フロントエンドのソース分離を犠牲にすることなく、認識を実現することを目的としている。 本稿では,MT-RNNTアーキテクチャを採用したMT-RNNT(MT-RNNT-AFT)のアライメントフリートレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 55.1234384771616
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Extending the RNN Transducer (RNNT) to recognize multi-talker speech is essential for wider automatic speech recognition (ASR) applications. Multi-talker RNNT (MT-RNNT) aims to achieve recognition without relying on costly front-end source separation. MT-RNNT is conventionally implemented using architectures with multiple encoders or decoders, or by serializing all speakers' transcriptions into a single output stream. The first approach is computationally expensive, particularly due to the need for multiple encoder processing. In contrast, the second approach involves a complex label generation process, requiring accurate timestamps of all words spoken by all speakers in the mixture, obtained from an external ASR system. In this paper, we propose a novel alignment-free training scheme for the MT-RNNT (MT-RNNT-AFT) that adopts the standard RNNT architecture. The target labels are created by appending a prompt token corresponding to each speaker at the beginning of the transcription, reflecting the order of each speaker's appearance in the mixtures. Thus, MT-RNNT-AFT can be trained without relying on accurate alignments, and it can recognize all speakers' speech with just one round of encoder processing. Experiments show that MT-RNNT-AFT achieves performance comparable to that of the state-of-the-art alternatives, while greatly simplifying the training process.
• Abstract（参考訳）: RNNトランスデューサ(RNNT)を拡張してマルチトーク音声を認識することは、より広い自動音声認識(ASR)アプリケーションに不可欠である。 マルチストーカーRNNT(MT-RNNT)は、フロントエンドのソース分離を犠牲にすることなく、認識を実現することを目的としている。 MT-RNNTは、伝統的に複数のエンコーダやデコーダを持つアーキテクチャを用いて実装されるか、または全ての話者の書き起こしを単一の出力ストリームにシリアライズすることによって実装されている。 最初のアプローチは計算コストが高く、特にマルチエンコーダ処理が必要なためである。 対照的に、第2のアプローチは複雑なラベル生成プロセスであり、外部のASRシステムから得られる全ての話者によって話される全ての単語の正確なタイムスタンプを必要とする。 本稿では,MT-RNNTアーキテクチャを採用したMT-RNNT(MT-RNNT-AFT)のアライメントフリートレーニング手法を提案する。 ターゲットラベルは、書き起こし開始時に各話者に対応するプロンプトトークンを付加し、混合における各話者の出現順序を反映して作成する。 したがって、MT-RNNT-AFTは正確なアライメントに頼ることなく訓練が可能であり、全ての話者の音声を1ラウンドのエンコーダ処理で認識することができる。 実験の結果、MT-RNNT-AFTは最先端の代替品に匹敵する性能を達成し、トレーニングプロセスを大幅に単純化した。

関連論文リスト

• Leveraging Timestamp Information for Serialized Joint Streaming Recognition and Translation [51.399695200838586]
  本稿では,マルチ・ツー・ワン・ワン・マン・ワン・ツー・マンの同時生成が可能なストリーミングトランスフォーマー・トランスデューサ(T-T)モデルを提案する。 実験では,1個のデコーダで1対1のジョイント出力を初めて生成し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-23T11:00:27Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing [72.56219471145232]
  ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。 本手法は,事前処理による音声文のモダリティギャップを低減する。 我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:48:14Z)
• Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks [28.440232737011453]
  そこで本稿では,Transducer と Attention based AED-Decoder (TAED) を組み合わせることで,音声からテキストへ変換する手法を提案する。 本手法は,Transducerのストリーミング特性を維持しつつ,非単調シーケンスにおけるTransducerの強度をシーケンス学習に活用する。 提案手法をtextscMuST-C データセットで評価し,TAED が Transducer よりもオフライン自動音声認識(ASR) や 音声からテキストへの変換(ST) 処理に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-04T18:34:50Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• End-to-End Rich Transcription-Style Automatic Speech Recognition with Semi-Supervised Learning [28.516240952627076]
  本稿では,RT-ASRシステムを構築するための半教師付き学習手法を提案する。 私たちの学習における重要なプロセスは、一般的な転写スタイルのデータセットを擬似リッチな転写スタイルのデータセットに変換することです。 自発性ASR課題に対する実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-07-07T12:52:49Z)
• Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders [30.160261563657947]
  エンドツーエンドの音声翻訳では、事前トレーニングが有望です。 Stackedを提案します。 音声翻訳のための音響・テキスト(SATE)法 エンコーダはアコースティックシーケンスを通常どおりに処理することから始まり、その後はアコースティックシーケンスのように振る舞う。 MTエンコーダは入力シーケンスのグローバル表現である。
  論文  参考訳（メタデータ） (2021-05-12T16:09:53Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。