論文の概要: HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation

• arxiv url: http://arxiv.org/abs/2506.02157v1
• Date: Mon, 02 Jun 2025 18:37:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.973887
• Title: HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
• Title（参考訳）: HENT-SRT:統合音声認識と翻訳のための自己拡張型階層型高能率ニューラルトランスデューサ
• Authors: Amir Hussein, Cihan Xiao, Matthew Wiesner, Dan Povey, Leibny Paola Garcia, Sanjeev Khudanpur,
• Abstract要約: HENT-SRTは、ASRと翻訳タスクを分解して、再注文の処理を改善する新しいフレームワークである。 ASRトランスデューサのベストプラクティスを取り入れて計算効率を向上させる。 提案手法は,アラビア語,スペイン語,マンダリンの3つの会話データセットを用いて評価した。
• 参考スコア（独自算出の注目度）: 19.997594859651233
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural transducers (NT) provide an effective framework for speech streaming, demonstrating strong performance in automatic speech recognition (ASR). However, the application of NT to speech translation (ST) remains challenging, as existing approaches struggle with word reordering and performance degradation when jointly modeling ASR and ST, resulting in a gap with attention-based encoder-decoder (AED) models. Existing NT-based ST approaches also suffer from high computational training costs. To address these issues, we propose HENT-SRT (Hierarchical Efficient Neural Transducer for Speech Recognition and Translation), a novel framework that factorizes ASR and translation tasks to better handle reordering. To ensure robust ST while preserving ASR performance, we use self-distillation with CTC consistency regularization. Moreover, we improve computational efficiency by incorporating best practices from ASR transducers, including a down-sampled hierarchical encoder, a stateless predictor, and a pruned transducer loss to reduce training complexity. Finally, we introduce a blank penalty during decoding, reducing deletions and improving translation quality. Our approach is evaluated on three conversational datasets Arabic, Spanish, and Mandarin achieving new state-of-the-art performance among NT models and substantially narrowing the gap with AED-based systems.
• Abstract（参考訳）: ニューラルトランスデューサ(NT)は、音声認識(ASR)において強力な性能を示す、音声ストリーミングのための効果的なフレームワークを提供する。 しかし、音声翻訳(ST)へのNTの適用は、既存のアプローチでは、ASRとSTを共同でモデル化する際に、単語の並べ替えや性能劣化に苦慮しているため、注意に基づくエンコーダデコーダ(AED)モデルとのギャップが生じているため、依然として困難である。 既存のNTベースのSTアプローチも高い計算訓練コストに悩まされている。 これらの問題に対処するために,ASRと翻訳タスクを分解し,再順序付けをよりよく処理する新しいフレームワークであるHENT-SRT(階層型音声認識・翻訳用ニューラルネットワーク)を提案する。 ASR性能を保ちながら頑健なSTを確保するために,CTC整合正則化による自己蒸留を用いる。 さらに、ASRトランスデューサのベストプラクティスを取り入れて計算効率を向上させる。例えば、ダウンサンプリング階層エンコーダ、ステートレス予測器、プルーンドトランスデューサの損失などである。 最後に,デコード中に空白のペナルティを導入し,削除を減らし,翻訳品質を向上させる。 提案手法は, アラビア語, スペイン語, マンダリンの3つの対話データセットを用いて評価し, NTモデル間での新たな最先端性能を実現し, AEDベースのシステムとのギャップを大幅に狭める。

関連論文リスト

• UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization [60.43992089087448]
  変形性音声再構成システムは、変形性音声を正常な音声に変換することを目的としている。 本稿では,HuBERTのドメイン適応能力を活用して学習効率を向上させるユニットDSRシステムを提案する。 NEDアプローチと比較すると、ユニットDSRシステムは音声単位正規化器とユニットHiFi-GANボコーダのみで構成されている。
  論文  参考訳（メタデータ） (2024-01-26T06:08:47Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method [4.343606621506086]
  逆テキスト正規化(ITN)は、特に自動音声認識(ASR)の文脈において、音声形式を書字形式に変換する上で重要である 本稿では,ASR 言語文脈エミュレーションによるペアの強化と,大規模言語モデルにより強化された半教師付き学習手法を用いて,ASR 生成したテキストや音声テキストを利用するダイレクトトレーニング手法を提案する。 提案手法は,様々なASRシナリオにおけるITN性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-12T06:05:57Z)
• Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments [49.38965743465124]
  本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。 単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
  論文  参考訳（メタデータ） (2023-07-07T02:26:18Z)
• Joint Speech Translation and Named Entity Recognition [17.305879157385675]
  重要なタスクは、上記のエンティティに関する情報で出力を豊かにすることです。 本稿では,名前付きエンティティ認識(NER)とエンティティリンクシステムとを併用したマルチタスクモデルを提案する。 実験の結果,NERタスクのカスケード(0.4-1.0 F1)は翻訳品質の劣化を伴わずに有意に優れていた。
  論文  参考訳（メタデータ） (2022-10-21T14:24:46Z)
• An Approach to Improve Robustness of NLP Systems against ASR Errors [39.57253455717825]
  音声対応システムは通常、音声を自動音声認識モデルを介してテキストに変換し、テキストを下流の自然言語処理モジュールに供給します。 ASRシステムのエラーは、NLPモジュールの性能を著しく低下させる可能性がある。 これまでの研究では、トレーニングプロセス中にasrノイズを注入することにより、この問題を解決するためにデータ拡張手法を用いることが有効であることが示されている。
  論文  参考訳（メタデータ） (2021-03-25T05:15:43Z)
• Transformer-based ASR Incorporating Time-reduction Layer and Fine-tuning with Self-Knowledge Distillation [11.52842516726486]
  本稿では,トランスエンコーダ層に時間削減層を組み込んだTransformer-based ASRモデルを提案する。 また、自己知識蒸留(S-KD)を用いた事前学習型ASRモデルの微調整手法を導入し、ASRモデルの性能をさらに向上させる。 言語モデル(LM)融合により、トランスフォーマーベースのASRモデルのための最新の単語誤り率(WER)結果を達成します。
  論文  参考訳（メタデータ） (2021-03-17T21:02:36Z)
• Sentence Boundary Augmentation For Neural Machine Translation Robustness [11.290581889247983]
  文境界セグメンテーションが品質に最も大きな影響を与えることを示し、セグメンテーションの堅牢性を改善するための単純なデータ拡張戦略を開発する。 文境界セグメンテーションが品質に最も大きな影響を与えることを示し、セグメンテーションの堅牢性を改善するための単純なデータ拡張戦略を開発する。
  論文  参考訳（メタデータ） (2020-10-21T16:44:48Z)
• Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
  シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。 我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。 このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
  論文  参考訳（メタデータ） (2020-08-07T11:02:07Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。