論文の概要: WavChat: A Survey of Spoken Dialogue Models

• arxiv url: http://arxiv.org/abs/2411.13577v2
• Date: Tue, 26 Nov 2024 09:20:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:07.289835
• Title: WavChat: A Survey of Spoken Dialogue Models
• Title（参考訳）: WavChat: 音声対話モデルのサーベイ
• Authors: Shengpeng Ji, Yifu Chen, Minghui Fang, Jialong Zuo, Jingyu Lu, Hanting Wang, Ziyue Jiang, Long Zhou, Shujie Liu, Xize Cheng, Xiaoda Yang, Zehan Wang, Qian Yang, Jian Li, Yidi Jiang, Jingzhen He, Yunfei Chu, Jin Xu, Zhou Zhao,
• Abstract要約: GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
• 参考スコア（独自算出の注目度）: 66.82775211793547
• License:
• Abstract: Recent advancements in spoken dialogue models, exemplified by systems like GPT-4o, have captured significant attention in the speech domain. Compared to traditional three-tier cascaded spoken dialogue models that comprise speech recognition (ASR), large language models (LLMs), and text-to-speech (TTS), modern spoken dialogue models exhibit greater intelligence. These advanced spoken dialogue models not only comprehend audio, music, and other speech-related features, but also capture stylistic and timbral characteristics in speech. Moreover, they generate high-quality, multi-turn speech responses with low latency, enabling real-time interaction through simultaneous listening and speaking capability. Despite the progress in spoken dialogue systems, there is a lack of comprehensive surveys that systematically organize and analyze these systems and the underlying technologies. To address this, we have first compiled existing spoken dialogue systems in the chronological order and categorized them into the cascaded and end-to-end paradigms. We then provide an in-depth overview of the core technologies in spoken dialogue models, covering aspects such as speech representation, training paradigm, streaming, duplex, and interaction capabilities. Each section discusses the limitations of these technologies and outlines considerations for future research. Additionally, we present a thorough review of relevant datasets, evaluation metrics, and benchmarks from the perspectives of training and evaluating spoken dialogue systems. We hope this survey will contribute to advancing both academic research and industrial applications in the field of spoken dialogue systems. The related material is available at https://github.com/jishengpeng/WavChat.
• Abstract（参考訳）: GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 音声認識(ASR)、大言語モデル(LLM)、テキスト音声合成(TTS)からなる従来の3層音声対話モデルと比較して、現代の音声対話モデルはより優れた知性を示す。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 さらに、低レイテンシで高品質なマルチターン音声応答を生成し、同時聴取と発声機能によるリアルタイム対話を可能にする。 音声対話システムの進歩にもかかわらず、これらのシステムとその基盤技術を体系的に組織化し分析する総合的な調査が欠如している。 これを解決するために、我々はまず既存の音声対話システムを時系列順にコンパイルし、それらをカスケードとエンド・ツー・エンドのパラダイムに分類した。 次に、音声対話モデルにおける中核技術について詳細に概説し、音声表現、訓練パラダイム、ストリーミング、デュプレックス、対話機能といった側面を網羅する。 各節ではこれらの技術の限界について論じ、今後の研究について概説する。 さらに、音声対話システムの訓練・評価の観点から、関連するデータセット、評価指標、ベンチマークの徹底的なレビューを行う。 本調査は,音声対話システム分野における学術研究と産業応用の進展に寄与することを期待している。 関連資料はhttps://github.com/jishengpeng/WavChat.comで公開されている。

関連論文リスト

• Adapting Text-based Dialogue State Tracker for Spoken Dialogues [20.139351605832665]
  本稿では,DSTC11における音声認識対話システム技術課題トラックに参画した,高度に成功を収めたモデルの構築に向けた技術的取り組みについて述べる。 本モデルは,(1)音声音声とテキスト音声のギャップを埋める自動音声認識誤差補正,(2)スロット記述を用いてスロットと値を推定するテキストベース対話システム(D3ST),(3)推定スロット値の誤差を復元する後処理の3つの主要モジュールから構成される。
  論文  参考訳（メタデータ） (2023-08-29T06:27:58Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History [38.65020349874135]
  本稿では,エンド・ツー・エンド対話音声合成(DSS)モデルを提案する。 本モデルは,適切な対話コンテキストを予測するための言語的特徴と韻律的特徴の履歴によって条件付けられている。 共感的DSSモデルを効果的に訓練するために,1) 大規模音声コーパスで事前訓練された自己教師型学習モデル,2) 対話コンテキスト埋め込みによって予測される現在の発話の韻律埋め込みを用いたスタイル誘導学習,3) テキストと音声のモダリティを結合するクロスモーダルな注意,4) 発話のワイドなモデリングよりもきめ細かな韻律モデリングを実現するための文の埋め込みについて検討する。
  論文  参考訳（メタデータ） (2022-06-16T09:47:25Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  自然言語を理解し、人間と対話するための訓練機械は、人工知能の解明と本質的なタスクである。 本稿では,対話理解タスクにおける対話モデリングの技術的視点から,過去の手法を概観する。 さらに,対話シナリオにおけるPrLMの強化に使用される対話関連事前学習手法を分類する。
  論文  参考訳（メタデータ） (2021-10-11T03:52:37Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  対話モデリングの観点から,従来の手法を検討した。 対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-04T15:50:17Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。