論文の概要: ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching

• arxiv url: http://arxiv.org/abs/2507.09318v1
• Date: Sat, 12 Jul 2025 15:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.964324
• Title: ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching
• Title（参考訳）: ZipVoice-Dialog:フローマッチングによる非自己回帰音声対話生成
• Abstract要約: 本稿では,フローマッチングに基づく非自己回帰音声対話生成モデルZipVoice-Dialogを紹介する。 主なデザインは、正確な話者のターンテイクのためのスピーカーターン埋め込みである。 我々は6.8khの音声対話データセットであるOpenDialogを、帯域内音声データからキュレートした。
• 参考スコア（独自算出の注目度）: 22.477986192421767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating spoken dialogue is more challenging than monologue text-to-speech (TTS) due to the need for realistic turn-taking and distinct speaker timbres. Existing spoken dialogue generation models, being auto-regressive, suffer from slow and unstable inference. To overcome these limitations, we introduce ZipVoice-Dialog, a non-autoregressive zero-shot spoken dialogue generation model built upon flow matching. Key designs include: 1) speaker-turn embeddings for precise speaker turn-taking; 2) a curriculum learning strategy for stable speech-text alignment; 3) specialized strategies to enable stereo dialogue generation. Additionally, recognizing the lack of open-source large-scale spoken dialogue datasets, we curated OpenDialog, a 6.8k-hour spoken dialogue dataset from in-the-wild speech data. Furthermore, we established a benchmark to comprehensively evaluate various models. Experimental results demonstrate that ZipVoice-Dialog achieves superior performance in intelligibility, speaker turn-taking accuracy, speaker similarity, and inference speed. Our codes, model checkpoints, demo samples, and the OpenDialog dataset are all publicly available at https://github.com/k2-fsa/ZipVoice.
• Abstract（参考訳）: 音声対話を生成することは、現実的なターンテイクと異なる話者の音色を必要とするため、モノローグのテキスト・トゥ・音声(TTS)よりも難しい。 既存の音声対話生成モデルは自己回帰的であり、遅く不安定な推論に苦しむ。 これらの制限を克服するために,フローマッチングに基づく非自己回帰型ゼロショット音声対話生成モデルZipVoice-Dialogを導入する。 主なデザインは以下の通り。 1) 正確な話者のターンテイクのための話者ターン埋め込み 2) 安定した音声テキストアライメントのためのカリキュラム学習戦略 3)ステレオダイアログ生成を可能にするための特殊な戦略。 さらに、オープンソースの大規模音声対話データセットの欠如を認識し、我々は、現在地にある音声データから6.8khの音声対話データセットであるOpenDialogをキュレートした。 さらに,様々なモデルを総合的に評価するためのベンチマークを構築した。 実験の結果,ZipVoice-Dialog は知性,話者のターンテイク精度,話者の類似性,推論速度に優れていた。 私たちのコード、モデルチェックポイント、デモサンプル、OpenDialogデータセットはすべてhttps://github.com/k2-fsa/ZipVoice.comで公開されています。

関連論文リスト

• DialectS2S: End-to-End Speech Dialogue Modeling for Low-Resource Chinese Dialects [20.435203165921134]
  中国語方言におけるエンドツーエンド音声対話モデルDialectS2Sを提案する。 まず、効率的なデータ構築のためのスケーラブルな方言音声合成パイプラインを開発する。 本稿では,自己整合型音声指導による2段階後学習戦略を導入し,音声指導のセマンティック内容とモデルの進化したセマンティック表現とを整合させる。
  論文  参考訳（メタデータ） (2026-08-08T11:11:10Z)
• MOSS-TTSD: Text to Spoken Dialogue Generation [62.04179716555789]
  複数の言語にまたがる多人数会話音声のための音声対話合成モデルであるMOSS-TTSDを提案する。 長文モデリングの強化により、MOSS-TTSDは明示的な話者タグを持つ対話スクリプトから長文音声対話を生成する。 このモデルは、英語や中国語を含む様々な主流言語をサポートし、いくつかの長文のシナリオに適応している。
  論文  参考訳（メタデータ） (2026-03-20T08:23:31Z)
• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization [21.32336226752075]
  Spoken DialogSumは、生の会話音声を現実の要約、感情に富んだ要約、発話レベルラベルと整合させる最初のコーパスである。 まず、LLMがDialogSumスクリプトをSwitchboardスタイルのフィラーとバックチャネルで書き直し、各発話を感情、ピッチ、発話率でタグ付けする。 Spoken DialogSumは13,460の感情の異なる対話で構成され、それぞれが事実と感情に焦点を当てた要約をペアリングする。
  論文  参考訳（メタデータ） (2025-12-16T18:54:20Z)
• AV-Dialog: Spoken Dialogue Models with Audio-Visual Input [16.289812372606168]
  AV-Dialogは、音声と視覚の両方を使ってターゲット話者を追跡し、ターンテイクを予測し、一貫性のある応答を生成する最初のフレームワークである。 実験により、AV-Dialogは干渉下での音声のみのモデルよりも優れ、転写エラーの低減、ターンテイク予測の改善、人格の対話品質の向上が示されている。 これらの結果から,実環境,騒音環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境
  論文  参考訳（メタデータ） (2025-11-14T09:56:26Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [79.0241611035794]
  CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。 フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。 提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-06-01T07:51:45Z)
• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation [16.724603503894166]
  Style-Talkerは、高速音声ダイアログ生成のためのスタイルベースのTSモデルとともに、オーディオLLMを微調整する革新的なフレームワークである。 実験の結果,Style-Talkerは対話の自然さとコヒーレンスの両方の観点から,従来のカスケードと音声音声のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2024-08-13T04:35:11Z)
• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Interview: A Large-Scale Open-Source Corpus of Media Dialog [11.28504775964698]
  本稿では,ニュースインタビューの書き起こしから収集した大規模(105Kの会話)メディアダイアログデータセット「Interview」を紹介する。 既存の会話データに対する大規模プロキシと比較して、我々のデータセットでトレーニングされた言語モデルは、ドメイン外のゼロショットのパフォーマンスが向上する。 「インタービュー」には各ターンの話者ロールアノテーションが含まれており、エンゲージメント・レスポンシブ・ダイアログシステムの開発を容易にする。
  論文  参考訳（メタデータ） (2020-04-07T02:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。