論文の概要: Agentic-DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech

• arxiv url: http://arxiv.org/abs/2608.16053v2
• Date: Sat, 22 Aug 2026 09:51:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.876266
• Title: Agentic-DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech
• Title（参考訳）: Agentic-DuplexGen:合成対話音声における内容、タイミング、音響の分離
• Abstract要約: 本稿では,タイミング,音響,音響を明示的に分離する対話合成フレームワークであるAgentic-DuplexGenを提案する。 提案するフレームワークは,従来の合成法よりも対話に近い対話力学を生成する。
• 参考スコア（独自算出の注目度）: 24.797028072871758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic conversational speech has become an important resource for developing and evaluating conversational speech systems. However, existing dialogue synthesis pipelines typically generate dialogue content first and then insert interruptions, overlap, and backchannels using handcrafted markers or timing rules, making conversational timing prescribed rather than interaction-driven. We present Agentic-DuplexGen, a dialogue synthesis framework that explicitly decouples content, timing, and acoustics. An LLM first generates the dialogue script, and then two full-duplex conversational models perform the script while listening to each other in real time. This allows conversational timing to emerge naturally while preserving the scripted content. Finally, a high-fidelity text-to-speech model re-renders the interaction without altering its timing. As a demonstration of the proposed framework, we construct a patient--clinician conversational speech corpus with construction-time annotations, including word timestamps, speaker activity, overlap regions, and interaction events. Experimental results show that the proposed framework produces conversational dynamics closer to real dialogue than conventional stitching-based synthesis.
• Abstract（参考訳）: 合成会話音声は,会話音声システムの開発と評価において重要な資源となっている。 しかし、既存の対話合成パイプラインは、まず対話内容を生成し、次に手作りのマーカーやタイミングルールを使って割り込み、重複、バックチャネルを挿入し、対話駆動ではなく会話のタイミングを規定する。 本稿では,内容,タイミング,音響を明示的に分離する対話合成フレームワークであるAgentic-DuplexGenを提案する。 LLMはまず対話スクリプトを生成し、次に2つの完全な対話モデルがリアルタイムで互いに聴きながらスクリプトを実行する。 これにより、スクリプティングされたコンテンツを保持しながら会話のタイミングが自然に現れる。 最後に、高忠実度テキスト音声モデルがそのタイミングを変えることなく、インタラクションを再レンダリングする。 提案手法の実証として, 単語タイムスタンプ, 話者活動, 重複領域, 相互作用イベントを含む, 構成時アノテーションを用いた患者・クリニック会話音声コーパスを構築した。 実験結果から,従来の縫合合成よりも実際の対話に近い対話動態が得られた。

関連論文リスト

• Think Before You Talk: Enhancing Meaningful Dialogue Generation in Full-Duplex Speech Language Models with Planning-Inspired Text Guidance [47.2016265294791]
  FD-SLM(Full-Duplex Speech Language Models)は、人間のような対話のためのニュアンスな2話者対話パターンをキャプチャする。 会話能力は、純粋なテキスト会話に比べて劣化することが多い。 そこで我々は,人間の会話計画を模倣する新しいプランニング・インスパイアされたアプローチであるTurnGuideを提案する。
  論文  参考訳（メタデータ） (2025-08-10T14:49:43Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [78.01028753403575]
  CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。 フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。 提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-06-01T07:51:45Z)
• DialogueAgents: A Hybrid Agent-Based Speech Synthesis Framework for Multi-Party Dialogue [17.397151329196955]
  本稿では,新しいハイブリッドエージェントベース音声合成フレームワークであるDialogueAgentsを提案する。 バイリンガル・マルチパーティ・マルチターン音声対話データセットであるMultiTalkにコントリビュートする。
  論文  参考訳（メタデータ） (2025-04-20T04:14:30Z)
• SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation [56.683846056788326]
  本稿では,自発音声対話gEnerationのためのSLMとLLMの統合を提案する。 本研究では,テキスト対話を音素シーケンスに変換し,音素の持続時間を予測するために2tower変換器を用いた継続時間予測手法を提案する。 Fisherデータセットを用いた実験結果から,本システムは高意味的コヒーレンスを維持しつつ,自然な音声対話を生成可能であることが示された。
  論文  参考訳（メタデータ） (2025-01-01T11:11:07Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation [16.724603503894166]
  Style-Talkerは、高速音声ダイアログ生成のためのスタイルベースのTSモデルとともに、オーディオLLMを微調整する革新的なフレームワークである。 実験の結果,Style-Talkerは対話の自然さとコヒーレンスの両方の観点から,従来のカスケードと音声音声のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2024-08-13T04:35:11Z)
• Towards human-like spoken dialogue generation between AI agents from written dialogue [8.4989907582951]
  本研究では,CHATS - CHATS-CHATty Agents Text-to-Speechを提案する。 本システムでは,話者側とリスナー側の両方に対して,話者側からの書き起こしのみを用いて同時に音声を生成することができる。
  論文  参考訳（メタデータ） (2023-10-02T11:03:20Z)
• FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis [75.74906149219817]
  Conversational Text-to-Speech (TTS) は、会話の文脈において、適切な言語的・感情的な韻律で発話を合成することを目的としている。 本稿では, 音声生成時に, 微細で粗い文脈依存性を同時に学習する, FCTalkerと呼ばれる新しい表現型会話型TSモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-27T12:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。