論文の概要: Speech-Text Dialog Pre-training for Spoken Dialog Understanding with Explicit Cross-Modal Alignment

• arxiv url: http://arxiv.org/abs/2305.11579v2
• Date: Fri, 9 Jun 2023 03:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 16:33:25.758949
• Title: Speech-Text Dialog Pre-training for Spoken Dialog Understanding with Explicit Cross-Modal Alignment
• Title（参考訳）: 明示的クロスモーダルアライメントを用いた音声対話理解のための音声テキスト対話事前学習
• Authors: Tianshu Yu, Haoyu Gao, Ting-En Lin, Min Yang, Yuchuan Wu, Wentao Ma, Chao Wang, Fei Huang, Yongbin Li
• Abstract要約: ExpliCiT cRoss-Modal Alignment (SPECTRA) を用いた音声対話理解のための音声テキスト対話事前学習を提案する。 SPECTRAは、最初の音声テキストダイアログ事前学習モデルである。 4つの下流音声テキストタスクの実験結果から,音声テキストアライメント学習におけるSPECTRAの優位性が示された。
• 参考スコア（独自算出の注目度）: 54.8991472306962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, speech-text pre-training methods have shown remarkable success in many speech and natural language processing tasks. However, most previous pre-trained models are usually tailored for one or two specific tasks, but fail to conquer a wide range of speech-text tasks. In addition, existing speech-text pre-training methods fail to explore the contextual information within a dialogue to enrich utterance representations. In this paper, we propose Speech-text dialog Pre-training for spoken dialog understanding with ExpliCiT cRoss-Modal Alignment (SPECTRA), which is the first-ever speech-text dialog pre-training model. Concretely, to consider the temporality of speech modality, we design a novel temporal position prediction task to capture the speech-text alignment. This pre-training task aims to predict the start and end time of each textual word in the corresponding speech waveform. In addition, to learn the characteristics of spoken dialogs, we generalize a response selection task from textual dialog pre-training to speech-text dialog pre-training scenarios. Experimental results on four different downstream speech-text tasks demonstrate the superiority of SPECTRA in learning speech-text alignment and multi-turn dialog context.
• Abstract（参考訳）: 近年,音声・自然言語処理タスクにおいて,音声テキスト事前学習手法が有意な成功を収めている。 しかし、以前のほとんどの事前学習されたモデルは、1つまたは2つの特定のタスク用に調整されるが、幅広い音声テキストタスクを克服できない。 さらに、既存の音声テキスト事前学習手法では、対話内の文脈情報を探索することができず、発話表現を豊かにする。 本稿では,最初の音声テキスト対話事前学習モデルであるExpliCiT cRoss-Modal Alignment (SPECTRA)を用いた音声対話理解のための音声テキスト対話事前学習を提案する。 具体的には,音声モダリティの時間性を考慮した新しい時間位置予測タスクの設計を行い,音声とテキストのアライメントを捉える。 この事前学習タスクは、対応する音声波形における各単語の開始と終了時間を予測することを目的としている。 さらに, 音声対話の特徴を学習するために, テキスト対話の事前学習から音声-テキスト対話の事前学習シナリオまで, 応答選択タスクを一般化する。 4つの下流音声テキストタスクの実験結果から,音声テキストアライメント学習におけるSPECTRAの優位性が示された。

関連論文リスト

• Towards human-like spoken dialogue generation between AI agents from written dialogue [8.4989907582951]
  本研究では,CHATS - CHATS-CHATty Agents Text-to-Speechを提案する。 本システムでは,話者側とリスナー側の両方に対して,話者側からの書き起こしのみを用いて同時に音声を生成することができる。
  論文  参考訳（メタデータ） (2023-10-02T11:03:20Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition [75.12948999653338]
  マンダリン自動音声認識(ASR)のためのマルチタスクエンコーダ-デコーダ事前学習フレームワーク(MMSpeech)を提案する。 我々は、音声とテキストデータを用いた5つの自己教師付きタスクを含むマルチタスク学習フレームワークを採用する。 AISHELL-1を用いた実験により,提案手法は従来手法と比較して40%以上の改善が得られた。
  論文  参考訳（メタデータ） (2022-11-29T13:16:09Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)
• End-to-End Text-to-Speech Based on Latent Representation of Speaking Styles Using Spontaneous Dialogue [19.149834552175076]
  本研究の目的は,人間の対話によく似たテキスト音声(TTS)を実現することである。 まず、実際の自然対話を記録し、書き起こす。 提案した対話TSは、第1段階、変分オートエンコーダ(VAE)-VITSまたはガウス混合変分オートエンコーダ(GMVAE)-VITSの2段階で訓練される。
  論文  参考訳（メタデータ） (2022-06-24T02:32:12Z)
• Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History [38.65020349874135]
  本稿では,エンド・ツー・エンド対話音声合成(DSS)モデルを提案する。 本モデルは,適切な対話コンテキストを予測するための言語的特徴と韻律的特徴の履歴によって条件付けられている。 共感的DSSモデルを効果的に訓練するために,1) 大規模音声コーパスで事前訓練された自己教師型学習モデル,2) 対話コンテキスト埋め込みによって予測される現在の発話の韻律埋め込みを用いたスタイル誘導学習,3) テキストと音声のモダリティを結合するクロスモーダルな注意,4) 発話のワイドなモデリングよりもきめ細かな韻律モデリングを実現するための文の埋め込みについて検討する。
  論文  参考訳（メタデータ） (2022-06-16T09:47:25Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。