論文の概要: Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering

• arxiv url: http://arxiv.org/abs/2010.11066v4
• Date: Thu, 24 Jun 2021 16:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 22:39:46.085809
• Title: Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
• Title（参考訳）: 会話質問応答における文脈的注意に基づく知識伝達
• Authors: Chenyu You, Nuo Chen, Yuexian Zou
• Abstract要約: 音声対話型質問応答 (SCQA) は複雑な対話の流れをモデル化するために機械を必要とする。 本稿では,新しい文脈型注意型蒸留手法CADNetを提案する。 Spoken-CoQAデータセット上で広範な実験を行い、本手法が優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 63.72278693825945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken conversational question answering (SCQA) requires machines to model complex dialogue flow given the speech utterances and text corpora. Different from traditional text question answering (QA) tasks, SCQA involves audio signal processing, passage comprehension, and contextual understanding. However, ASR systems introduce unexpected noisy signals to the transcriptions, which result in performance degradation on SCQA. To overcome the problem, we propose CADNet, a novel contextualized attention-based distillation approach, which applies both cross-attention and self-attention to obtain ASR-robust contextualized embedding representations of the passage and dialogue history for performance improvements. We also introduce the spoken conventional knowledge distillation framework to distill the ASR-robust knowledge from the estimated probabilities of the teacher model to the student. We conduct extensive experiments on the Spoken-CoQA dataset and demonstrate that our approach achieves remarkable performance in this task.
• Abstract（参考訳）: 音声対話型質問応答 (SCQA) は、音声発話とテキストコーパスから複雑な対話の流れをモデル化する必要がある。 従来のテキスト質問応答(QA)タスクとは異なり、SCQAには音声信号処理、通訳理解、文脈理解が含まれる。 しかし、ASRシステムは転写に予期せぬノイズ信号を導入し、SCQAの性能低下をもたらす。 そこで本研究では,ASR-robust の文脈的埋め込み表現と対話履歴の表現を相互注意と自己注意の両方に適用し,性能改善を図るための新しい文脈的注意に基づく蒸留手法 CADNet を提案する。 また,教師モデルの推定確率からasr-robust知識を留学生に蒸留する従来の知識蒸留フレームワークについても紹介する。 本研究では,Spken-CoQAデータセットの広範な実験を行い,本課題において本手法が優れた性能を発揮することを示す。

関連論文リスト

• SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering [76.4510005602893]
  SQA(Spken Question Answering)は、機械がユーザの質問に応答するために必要である。 本稿では、最初のエンドツーエンドフレームワークであるSpeechDPR(SpeechDPR)を提案する。 教師なしASR (UASR) と高密度テキスト検索器 (TDR) のカスケードモデルから知識を抽出して文レベルの意味表現を学習する
  論文  参考訳（メタデータ） (2024-01-24T14:08:38Z)
• On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering [13.013751306590303]
  合成ASR雑音に対する語彙・高密度レトリバーのロバスト性について検討した。 我々は,人間の声による質問を含む新しいデータセットを作成し,その書き起こしを用いて,合成ASRノイズの代わりに自然なASRノイズを扱う場合に,検索性能がさらに劣化することを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:36Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• An Initial Investigation of Non-Native Spoken Question-Answering [36.89541375786233]
  SQuAD2.0 で訓練された単純なテキストベースの ELECTRA MC モデルは,音声による質問応答テストに適していることを示す。 重要な課題の1つは、このタスクのためにシステムを訓練するために適切に注釈付けされた音声コーパスがないことである。 ミスマッチは、テキスト文書と音声応答、非ネイティブな音声文法と書かれた文法の間で考慮されなければならない。
  論文  参考訳（メタデータ） (2021-07-09T21:59:16Z)
• Self-supervised Dialogue Learning for Spoken Conversational Question Answering [29.545937716796082]
  音声対話質問応答(SCQA)では、複数の会話を含む固定された音声文書を検索して分析することにより、対応する質問に対する回答を生成する。 本研究では,不整合判定,挿入検出,質問予測などの自己教師付き学習手法を導入し,コア参照の解決と対話のコヒーレンスを明確に把握する。 提案手法は,従来の事前学習言語モデルと比較して,より一貫性があり,意味があり,適切な応答を提供する。
  論文  参考訳（メタデータ） (2021-06-04T00:09:38Z)
• Knowledge Distillation for Improved Accuracy in Spoken Question Answering [63.72278693825945]
  我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。 我々の研究は、言語モデルから知識の抽出を監督信号として進めている。 実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-21T15:18:01Z)
• Towards Data Distillation for End-to-end Spoken Conversational Question Answering [65.124088336738]
  音声対話型質問応答タスク(SCQA)を提案する。 SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。 我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
  論文  参考訳（メタデータ） (2020-10-18T05:53:39Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。