論文の概要: Knowledge Distillation for Improved Accuracy in Spoken Question Answering

• arxiv url: http://arxiv.org/abs/2010.11067v3
• Date: Thu, 1 Apr 2021 02:26:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 22:40:01.012993
• Title: Knowledge Distillation for Improved Accuracy in Spoken Question Answering
• Title（参考訳）: 音声質問応答の精度向上のための知識蒸留
• Authors: Chenyu You, Nuo Chen, Yuexian Zou
• Abstract要約: 我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。 我々の研究は、言語モデルから知識の抽出を監督信号として進めている。 実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 63.72278693825945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken question answering (SQA) is a challenging task that requires the machine to fully understand the complex spoken documents. Automatic speech recognition (ASR) plays a significant role in the development of QA systems. However, the recent work shows that ASR systems generate highly noisy transcripts, which critically limit the capability of machine comprehension on the SQA task. To address the issue, we present a novel distillation framework. Specifically, we devise a training strategy to perform knowledge distillation (KD) from spoken documents and written counterparts. Our work makes a step towards distilling knowledge from the language model as a supervision signal to lead to better student accuracy by reducing the misalignment between automatic and manual transcriptions. Experiments demonstrate that our approach outperforms several state-of-the-art language models on the Spoken-SQuAD dataset.
• Abstract（参考訳）: 音声質問応答(SQA)は、機械が複雑な音声文書を完全に理解する必要がある課題である。 音声認識(ASR)は,QAシステムの開発において重要な役割を果たす。 しかし、最近の研究は、ASRシステムが非常にノイズの多い書き起こしを生成し、SQAタスクにおける機械理解の能力を著しく制限していることを示している。 この問題に対処するため,新しい蒸留フレームワークを提案する。 具体的には、音声文書や文章から知識蒸留(KD)を行うための訓練戦略を考案する。 本研究は,言語モデルからの知識を指導信号として蒸留し,自動書き起こしと手動書き起こしの誤用を低減し,学生の正確性を向上させるための一歩を踏み出した。 実験により,我々のアプローチが,音声データセット上の最先端言語モデルよりも優れていることを実証した。

関連論文リスト

• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• DUAL: Textless Spoken Question Answering with Speech Discrete Unit Adaptive Learning [66.71308154398176]
  SQA (Spken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。 既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。 本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-09T17:46:22Z)
• An Initial Investigation of Non-Native Spoken Question-Answering [36.89541375786233]
  SQuAD2.0 で訓練された単純なテキストベースの ELECTRA MC モデルは,音声による質問応答テストに適していることを示す。 重要な課題の1つは、このタスクのためにシステムを訓練するために適切に注釈付けされた音声コーパスがないことである。 ミスマッチは、テキスト文書と音声応答、非ネイティブな音声文法と書かれた文法の間で考慮されなければならない。
  論文  参考訳（メタデータ） (2021-07-09T21:59:16Z)
• Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering [63.72278693825945]
  音声対話型質問応答 (SCQA) は複雑な対話の流れをモデル化するために機械を必要とする。 本稿では,新しい文脈型注意型蒸留手法CADNetを提案する。 Spoken-CoQAデータセット上で広範な実験を行い、本手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-10-21T15:17:18Z)
• Towards Data Distillation for End-to-end Spoken Conversational Question Answering [65.124088336738]
  音声対話型質問応答タスク(SCQA)を提案する。 SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。 我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
  論文  参考訳（メタデータ） (2020-10-18T05:53:39Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。