論文の概要: A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations

• arxiv url: http://arxiv.org/abs/2609.28806v1
• Date: Wed, 23 Sep 2026 21:38:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.569969
• Title: A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations
• Title（参考訳）: 逆自然主義全二重会話の合成におけるハーネス
• Abstract要約: 本稿では,リレーショナルイベントリストから意図抽出2チャンネル会話音声を合成するためのパイプラインを提案する。 イベントは独立して合成され、ソーステキストと一致し、共有クロック上に置かれ、ターンテイキングランドマークが測定される。 パイプラインは英語とマンダリンの8つの家族の42をカバーしている。
• 参考スコア（独自算出の注目度）: 17.048567633179037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full-duplex dialogue systems, which listen while speaking, must distinguish a completed turn from a pause within a turn and an interruption that requests a turn from a brief acknowledgment or speech addressed to a third party. Yet existing conversational corpora provide limited control over these events and limited labels for their intent. We present a pipeline for synthesizing intent-labeled, two-channel conversational speech from relational event lists. An LLM authors each event's speaker, text, conversational act, and attachment to an earlier event without predicting absolute timestamps. Events are synthesized independently, aligned with their source text, and placed on a shared clock, so turn-taking landmarks are measured from the rendered signal while silence durations are specified or sampled from turn-taking distributions. The pipeline covers 42 phenomena across eight families in English and Mandarin, derives frame-level system actions from authored intent, and promotes diversity using small, diverse sets of prior examples and batch prompts that request alternatives with self-reported probabilities. Ablations show gains in each targeted diversity dimension. On a four-action label space for taking, holding, releasing, and not holding the conversational floor, a semantic voice-activity detector using only current and past audio reaches start-speaking and start-listening F1 scores of 0.819 and 0.802. When generating its own responses, the full-duplex speech model Moshi takes 0.85 of the reference turns after fine-tuning on the generated corpus, compared with 0.44 before fine-tuning. Its frame-level precision for predicting system-floor occupancy rises from 0.46 to 0.88. With reference context at each step, its frame-level floor F1 rises from 0.893 to 0.962. These results show that controlled synthesis can provide learnable and transferable supervision for full-duplex turn management.
• Abstract（参考訳）: 会話中に耳を傾ける全二重対話システムは、完了したターンをターン内の一時停止と、第三者に宛てた短い承認またはスピーチからのターンを要求する中断とを区別しなければならない。 しかし、既存の会話コーパスは、これらのイベントに対する限定的な制御と、その意図に対する限定的なラベルを提供する。 本稿では,リレーショナルイベントリストから意図ラベル付き2チャンネル会話音声を合成するためのパイプラインを提案する。 LLMは、絶対タイムスタンプを予測せずに、各イベントの話者、テキスト、会話行為、以前のイベントへのアタッチメントを作成できる。 イベントは独立して合成され、ソーステキストと整列し、共有クロック上に配置されるので、ターンテイクランドマークはレンダリング信号から測定され、サイレンス期間はターンテイク分布から特定またはサンプリングされる。 このパイプラインは、英語とマンダリンの8つのファミリーにまたがる42の現象をカバーし、権威のある意図からフレームレベルのシステムアクションを導き、より小さな、多様な事前例と、自己報告された確率で代替品を要求するバッチプロンプトを使って多様性を促進する。 アブレーションは、各対象の多様性次元において利得を示す。 会話フロアを保持、保持、解放、保持しない4つのアクションラベル空間において、現在及び過去の音声のみを用いた意味音声活性検出器は、開始言語及び開始リスト化F1スコア0.819、0.802に達する。 独自の応答を生成する場合、全二重音声モデルMoshiは、生成されたコーパスを微調整した後の参照ターンの0.85を、微調整前の0.44と比較する。 システムフロアの占有率を予測するためのフレームレベルの精度は0.46から0.88に上昇する。 各ステップの基準コンテキストにより、フレームレベルのフロアF1は0.893から0.962に上昇する。 これらの結果から,制御された合成は,全二重ターン管理のための学習可能かつ伝達可能な監視を提供することができた。

関連論文リスト

• Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models [0.33054385258808067]
  我々は5つのダイアドコーパスから9,728エピソードのベンチマークであるTACTを紹介する。 各エピソードは、対話履歴、話者ごとのメモリプロファイル、およびアノテーションから派生した6つの意図クラスを含む。 TACTは、Spearman 0.81の人間による判断と、バイナリメトリクスの0.46と一致している。
  論文  参考訳（メタデータ） (2026-09-23T05:21:10Z)
• COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning [36.96048842389113]
  自然な会話では、話し方は前回の会話の文脈から自然に推測されるべきである。 文脈認識型推論に基づく音声合成タスクCOT-TTSを提案する。 大規模なバイリンガル音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-09-19T02:13:27Z)
• Realtime-Venus: A full-duplex interaction system with asynchronous delegation [0.0]
  音声対話のためのリアルタイム・リアルタイム・オムニ・オーディオ・インタラクションとリアルタイム・オーディオ・スポーケンを提示する。 それぞれのモデルは完全な会話として機能し、連続認識、会話制御、およびネイティブ音声生成を統合する。
  論文  参考訳（メタデータ） (2026-09-12T08:56:50Z)
• ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion [5.90805749495021]
  完全な音声モデルは訓練を必要とするが、ノイズの多い現実世界の録音では、話者間で信号が絡み合っている。 安定な話者行動を持つパイプライントラックを提示し、データ特性のみを評価する。 フル-3.2%のモデルトレーニングで 下流での上昇は 今後も続く。
  論文  参考訳（メタデータ） (2026-09-08T02:28:43Z)
• VoiceLongMemEval: Do Assistants Remember How You Sounded? [2.3577368017815696]
  現在のベンチマークでは、この対話履歴を、長い地平線上の情報検索、時間的推論、知識更新として評価している。 我々はVoiceLongMemEvalベンチマークを示し、すべての回答は会話のターンに付随するパラ言語的メタデータに依存する。
  論文  参考訳（メタデータ） (2026-09-01T02:06:10Z)
• Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue [30.587755818246052]
  音声対話モデルは音声を無声で生成し、音声のみから音声を合成する。 我々は,手,上半身,下半身の動作とともに,音声対話モデルによって明示的な表情を出力する,エンドツーエンドのフレームワークであるMotion-Omniを提案する。 我々はさらにSwwenDA-500をリリースし、我々の知る限り、オープンエンドフルボディ音声対話のための最初の公開評価プロトコルについて述べる。
  論文  参考訳（メタデータ） (2026-08-28T21:02:39Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。