論文の概要: Two-Pass Low Latency End-to-End Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2207.06670v1
• Date: Thu, 14 Jul 2022 05:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 15:00:12.679794
• Title: Two-Pass Low Latency End-to-End Spoken Language Understanding
• Title（参考訳）: 2段階低レイテンシエンドツーエンド音声言語理解
• Authors: Siddhant Arora, Siddharth Dalmia, Xuankai Chang, Brian Yan, Alan Black, Shinji Watanabe
• Abstract要約: 我々は,E2E-SLUフレームワーク内にラベル付きテキストデータに基づいて事前学習した言語モデルを組み込んで,強力な意味表現を構築した。 本研究では,第1パスの音声数秒の音響情報を用いて低遅延予測を行う2パスSLUシステムを開発した。 私たちのコードとモデルは、ESPnet-SLUツールキットの一部として公開されています。
• 参考スコア（独自算出の注目度）: 36.81762807197944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end (E2E) models are becoming increasingly popular for spoken language understanding (SLU) systems and are beginning to achieve competitive performance to pipeline-based approaches. However, recent work has shown that these models struggle to generalize to new phrasings for the same intent indicating that models cannot understand the semantic content of the given utterance. In this work, we incorporated language models pre-trained on unlabeled text data inside E2E-SLU frameworks to build strong semantic representations. Incorporating both semantic and acoustic information can increase the inference time, leading to high latency when deployed for applications like voice assistants. We developed a 2-pass SLU system that makes low latency prediction using acoustic information from the few seconds of the audio in the first pass and makes higher quality prediction in the second pass by combining semantic and acoustic representations. We take inspiration from prior work on 2-pass end-to-end speech recognition systems that attends on both audio and first-pass hypothesis using a deliberation network. The proposed 2-pass SLU system outperforms the acoustic-based SLU model on the Fluent Speech Commands Challenge Set and SLURP dataset and reduces latency, thus improving user experience. Our code and models are publicly available as part of the ESPnet-SLU toolkit.
• Abstract（参考訳）: E2E(End-to-end)モデルは、音声言語理解(SLU)システムでますます人気となり、パイプラインベースのアプローチと競合するパフォーマンスを実現し始めている。 しかし、近年の研究では、これらのモデルが与えられた発話の意味的内容が理解できないという同じ意図で、新しい言い回しへの一般化に苦慮していることが示されている。 本研究では,E2E-SLUフレームワーク内にラベルのないテキストデータに基づいて事前学習した言語モデルを組み込んで,強力な意味表現を構築する。 セマンティック情報と音響情報の両方を組み込むことで、推論時間が増加し、音声アシスタントのようなアプリケーションにデプロイする際のレイテンシが高くなる。 本研究では,第1パスにおける音声数秒からの音響情報を用いて低遅延予測を行い,意味表現と音響表現を組み合わせて第2パスにおける高品質な予測を行う2パスSLUシステムを開発した。 検討ネットワークを用いて,音声と第1パス仮説の両方に従属する2パスエンドツーエンド音声認識システムの先行研究から着想を得た。 提案した2パスSLUシステムは、Fluent Speech Commands Challenge SetとSLURPデータセット上で音響ベースSLUモデルより優れ、レイテンシを低減し、ユーザエクスペリエンスを向上させる。 私たちのコードとモデルはespnet-sluツールキットの一部として公開されています。

関連論文リスト

• Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation [72.7915031238824]
  大規模な拡散モデルは、テキスト・トゥ・オーディオ(T2A)合成タスクで成功している。 意味的不一致や時間的一貫性の低下といった共通の問題に悩まされることが多い。 我々は,Make-an-Audioの成功に基づいて,潜伏拡散に基づくT2A法であるMake-an-Audio 2を提案する。
  論文  参考訳（メタデータ） (2023-05-29T10:41:28Z)
• End-to-end spoken language understanding using joint CTC loss and self-supervised, pretrained acoustic encoders [13.722028186368737]
  本研究では,コネクショニストの時間分類を微調整した自己教師型音響エンコーダを用いて,テキストの埋め込みを抽出する。 本モデルでは,DSTC2データセット上でのSOTA(State-of-the-art)対話行動分類モデルに対して,4%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2023-05-04T15:36:37Z)
• UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
  本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。 第1パスデコーダのサブワード予測によりモデル性能を向上させる。 提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:58:28Z)
• End-to-End Spoken Language Understanding: Performance analyses of a voice command task in a low resource setting [0.3867363075280543]
  本稿では,E2Eモデルを用いて音声言語理解タスクを実行するための信号特徴と他の言語特性を同定する。 この研究は、英語以外の音声コマンドを処理しなければならないスマートホームのアプリケーションドメインで実施されている。
  論文  参考訳（メタデータ） (2022-07-17T13:51:56Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
  我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。 提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T23:48:01Z)
• Multi-task RNN-T with Semantic Decoder for Streamable Spoken Language Understanding [16.381644007368763]
  E2E SLU(End-to-end Spoken Language Understanding)は、共同最適化と低レイテンシの利点により、関心を集めている。 本稿では,これらの考察に対処するために,マルチタスク・セマンティックトランスデューサモデルを提案する。 提案アーキテクチャは, ASR と NLU のラベルを自動回帰的に予測し, セマンティックデコーダを用いて従来予測されていたワードピースとスロットタグの両方を取り込みます。
  論文  参考訳（メタデータ） (2022-04-01T16:38:56Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。