論文の概要: Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent
Systems
- arxiv url: http://arxiv.org/abs/2010.04284v1
- Date: Thu, 8 Oct 2020 22:16:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 11:40:13.153529
- Title: Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent
Systems
- Title（参考訳）: エンド・ツー・エンド音声・インテントシステムの学習のためのアンペアテキストデータの活用
- Authors: Yinghui Huang, Hong-Kwang Kuo, Samuel Thomas, Zvi Kons, Kartik
Audhkhasi, Brian Kingsbury, Ron Hoory, Michael Picheny
- Abstract要約: 音声から直接意図を抽出するエンド・ツー・エンド(E2E)ニューラルネットワーク音声-インテントシステムのトレーニングには,大量の意図ラベル付き音声データが必要である。
我々はCTCベースのS2Iシステムを実装し、最先端の従来のSLUシステムの性能に適合する。
- 参考スコア（独自算出の注目度）: 39.79749518035203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training an end-to-end (E2E) neural network speech-to-intent (S2I) system
that directly extracts intents from speech requires large amounts of
intent-labeled speech data, which is time consuming and expensive to collect.
Initializing the S2I model with an ASR model trained on copious speech data can
alleviate data sparsity. In this paper, we attempt to leverage NLU text
resources. We implemented a CTC-based S2I system that matches the performance
of a state-of-the-art, traditional cascaded SLU system. We performed controlled
experiments with varying amounts of speech and text training data. When only a
tenth of the original data is available, intent classification accuracy
degrades by 7.6% absolute. Assuming we have additional text-to-intent data
(without speech) available, we investigated two techniques to improve the S2I
system: (1) transfer learning, in which acoustic embeddings for intent
classification are tied to fine-tuned BERT text embeddings; and (2) data
augmentation, in which the text-to-intent data is converted into
speech-to-intent data using a multi-speaker text-to-speech system. The proposed
approaches recover 80% of performance lost due to using limited intent-labeled
speech.
- Abstract（参考訳）: 音声から意図を直接抽出するエンドツーエンド(e2e)ニューラルネットワークの音声認識(s2i)システムのトレーニングには,大量の意図ラベル音声データが必要となる。
コーパス音声データに基づいて訓練されたASRモデルを用いてS2Iモデルを初期化することで、データの疎さを軽減できる。
本稿では,NLUテキストリソースの活用を試みる。
我々は,最先端の従来のカスケードsluシステムの性能にマッチするctcベースのs2iシステムを実装した。
各種音声とテキストの訓練データを用いて制御実験を行った。
元のデータの10分の1しか入手できない場合、意図分類の精度は7.6%低下する。
s2iシステムの改善のために,(1)意図分類のための音響組込みを微調整されたbertテキスト組込みに結びつけるトランスファー学習,(2)テキストから対話データへの変換をマルチスピーカによる音声から対話データに変換するデータ拡張という2つの手法を検討した。
提案手法は,意図ラベル付き音声による性能低下の80%を回復する。
関連論文リスト
- Leveraging Large Text Corpora for End-to-End Speech Summarization [58.673480990374635]
エンドツーエンド音声要約(End-to-end speech summarization, E2E SSum)は、音声から要約文を直接生成する技術である。
本稿では,E2E SSumトレーニングにおいて,大量の外部テキスト要約データを活用する2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T05:19:49Z) - Joint Pre-Training with Speech and Bilingual Text for Direct Speech to
Speech Translation [94.80029087828888]
直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。
直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。
本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
論文 参考訳（メタデータ） (2022-10-31T02:55:51Z) - Enhanced Direct Speech-to-Speech Translation Using Self-supervised
Pre-training and Data Augmentation [76.13334392868208]
直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。
本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
論文 参考訳（メタデータ） (2022-04-06T17:59:22Z) - Towards Reducing the Need for Speech Training Data To Build Spoken
Language Understanding Systems [29.256853083988634]
適切なラベルを持つ大量のテキストデータは通常利用可能である。
本稿では,これらのテキストリソースを用いて,E2E SLUシステムを効果的に構築できる新しいテキスト表現と学習手法を提案する。
論文 参考訳（メタデータ） (2022-02-26T15:21:13Z) - Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。
マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
論文 参考訳（メタデータ） (2021-12-15T18:56:35Z) - A study on the efficacy of model pre-training in developing neural
text-to-speech system [55.947807261757056]
本研究の目的は,モデル事前学習がTSシステム性能に肯定的に寄与する理由と方法を明らかにすることである。
トレーニング前のデータを元のサイズの1/8に減らすと,TSシステムは同等の性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-10-08T02:09:28Z) - Speak or Chat with Me: End-to-End Spoken Language Understanding System
with Flexible Inputs [21.658650440278063]
本稿では, 音声, ASR 転写文, あるいはその両方から, フレキシブルな入力から意図を予測できる新しいシステムを提案する。
本実験は,これらの事前学習および微調整戦略に有意な優位性を示し,競争目的分類性能を実現するシステムを実現した。
論文 参考訳（メタデータ） (2021-04-07T20:48:08Z) - Exploring Transfer Learning For End-to-End Spoken Language Understanding [8.317084844841323]
スピーチから仮説に直接移動するエンドツーエンド(E2E)システムは、より魅力的なオプションです。
音声からテキストまでの複数のタスクを共同トレーニングするE2Eシステムを提案する。
個々のタスクで訓練されたE2Eモデルの性能を上回ります。
論文 参考訳（メタデータ） (2020-12-15T19:02:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。