論文の概要: Enhanced Hybrid Transducer and Attention Encoder Decoder with Text Data

• arxiv url: http://arxiv.org/abs/2506.19159v1
• Date: Mon, 23 Jun 2025 21:51:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.40563
• Title: Enhanced Hybrid Transducer and Attention Encoder Decoder with Text Data
• Title（参考訳）: テキストデータを用いたハイブリッドトランスデューサとアテンションエンコーダデコーダの強化
• Authors: Yun Tang, Eesung Kim, Vijendra Raj Apsingekar,
• Abstract要約: 共同トランスデューサとアテンションベースエンコーダデコーダ(TAED)モデルを提案し,大量のテキストコーパスを活用し,ASR精度を向上させる。 実験の結果、J-TAEDは音声と言語情報を一つのモデルに統合し、WERを5.812.8%減らすことに成功した。
• 参考スコア（独自算出の注目度）: 10.662138902171497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A joint speech and text optimization method is proposed for hybrid transducer and attention-based encoder decoder (TAED) modeling to leverage large amounts of text corpus and enhance ASR accuracy. The joint TAED (J-TAED) is trained with both speech and text input modalities together, while it only takes speech data as input during inference. The trained model can unify the internal representations from different modalities, and be further extended to text-based domain adaptation. It can effectively alleviate data scarcity for mismatch domain tasks since no speech data is required. Our experiments show J-TAED successfully integrates speech and linguistic information into one model, and reduce the WER by 5.8 ~12.8% on the Librispeech dataset. The model is also evaluated on two out-of-domain datasets: one is finance and another is named entity focused. The text-based domain adaptation brings 15.3% and 17.8% WER reduction on those two datasets respectively.
• Abstract（参考訳）: ハイブリットトランスデューサとアテンションベースエンコーダデコーダ(TAED)モデリングのための共同音声とテキストの最適化手法を提案する。 共同TAED(J-TAED)は、音声とテキストの両方の入力モダリティを同時に訓練し、音声データを推論時にのみ入力とする。 トレーニングされたモデルは、異なるモダリティから内部表現を統一し、テキストベースのドメイン適応にさらに拡張することができる。 音声データを必要としないため、ミスマッチドメインタスクのデータの不足を効果的に軽減することができる。 実験の結果,J-TAEDは音声と言語情報を1つのモデルに統合し,WERを5.8～12.8%削減することに成功した。 モデルはまた、ドメイン外の2つのデータセットで評価される: 1つはファイナンスで、もう1つはエンティティに焦点を当てている。 テキストベースのドメイン適応は、これら2つのデータセットに対してそれぞれ15.3%と17.8%のWER削減をもたらす。

関連論文リスト

• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Augmenting text for spoken language understanding with Large Language Models [13.240782495441275]
  対応する音声を使わずに書き起こし構文解析データ(未ペアテキスト)の使い方を示す。 実験の結果、既存のドメインと新しいドメインの未ペアテキストは、絶対的エクサクトマッチ(EM)において、それぞれ2%と30%の性能を向上させることがわかった。 本稿では,既存のドメインや新しいドメインに対する未ペアテキストを生成するために,LLM(Large Language Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-17T22:25:34Z)
• Speech-text based multi-modal training with bidirectional attention for improved speech recognition [26.47071418582507]
  ASRエンコーダ(ボット層)とテキストエンコーダ(テキストエンコーダ)をマルチモーダル学習法で共同学習するために,新しい双方向アテンション機構(BiAM)を提案する。 BiAMは特徴サンプリングレートの交換を促進することを目的としており、別の空間で測定すべきものに対する変換された特徴の品質を実現する。 Librispeech corpusの実験結果から、ペアデータ学習のみで最大6.15%のワードエラー率削減(WERR)を達成でき、また、より不適切なテキストデータを使用すると9.23%のWERRを実現することができる。
  論文  参考訳（メタデータ） (2022-11-01T08:25:11Z)
• M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation [66.92823764664206]
  テキストに音声表現を適応させる新しいトランスフォーマーベースのモジュールであるM-Adapterを提案する。 音声シーケンスを縮小しながら、M-Adapterは音声からテキストへの翻訳に必要な機能を生成する。 実験の結果,我々のモデルは最大1BLEUで強いベースラインを達成できた。
  論文  参考訳（メタデータ） (2022-07-03T04:26:53Z)
• Improving Deliberation by Text-Only and Semi-Supervised Training [42.942428288428836]
  本稿では,テキストのみによる半教師付きトレーニングを,注意に基づく検討モデルに取り入れることを提案する。 基準検討と比較して, WER の 4%-12% 削減を実現している。 また, 検討モデルにより, 肯定的な評価がもたらされることが示唆された。
  論文  参考訳（メタデータ） (2022-06-29T15:30:44Z)
• A Simple Baseline for Domain Adaptation in End to End ASR Systems Using Synthetic Data [1.14219428942199]
  エンドツーエンド音声認識モデルにおけるドメイン適応のための簡単なベースライン手法を提案する。 テキストのみのコーパスを単一話者テキスト音声(TTS)エンジンを用いて音声データに変換する。 単一話者合成TTSデータと最終密度層を結合した微調整が単語誤り率の合理的な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-06-22T12:07:38Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training [33.02912456062474]
  我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。 プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2021-10-20T00:59:36Z)
• Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition [66.47000813920617]
  本稿では,モノリンガルペアデータと未ペアテキストデータを利用するデカップリング変換器モデルを提案する。 モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。 モノリンガルデータと未ペアテキストデータを使用することで、分離されたトランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性を低減する。
  論文  参考訳（メタデータ） (2020-10-28T07:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。