論文の概要: ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
- arxiv url: http://arxiv.org/abs/2609.08147v1
- Date: Tue, 08 Sep 2026 02:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 19:28:23.387273
- Title: ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
- Title（参考訳）: ConversationalVoice:実会話から得られる全二重音声データ
- Abstract要約: 完全な音声モデルは訓練を必要とするが、ノイズの多い現実世界の録音では、話者間で信号が絡み合っている。
安定な話者行動を持つパイプライントラックを提示し、データ特性のみを評価する。
フル-3.2%のモデルトレーニングで 下流での上昇は 今後も続く。
- 参考スコア（独自算出の注目度）: 5.90805749495021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-duplex speech models require training data that preserves turn-taking, overlap, interruption, and backchannel behavior, yet these signals are entangled across speakers in noisy real-world recordings. We present Conversational Voice, a pipeline that converts real two-speaker excerpts into three complementary training-data artifacts. (1) Separation recovers speaker-specific tracks with stable speaker assignments, a canonical transcript, and naturally observed interaction timing. (2) Reconstruction generates speech in matched voices from a fixed source transcript, reconstructs the source turn order, pauses, and overlaps, and adds word-level alignment and delivery instructions. (3) Expansion generates new dialogue constrained by the source context, speakers, and observed interaction pattern. Automatic speaker-verification metrics remain strong across stages, with same-speaker similarity of 0.983-0.991 and positive discrimination margins of 0.199-0.209. Predicted speech quality (NISQA MOS) is 3.56 for separation, 4.41 for reconstruction, and 4.61 for expansion. A Gemini-based automatic evaluator assigns expansion mean scores of 4.94/5 for contextual coherence and 4.80/5 for dialogue naturalness. Expansion and reconstruction exhibit broadly similar interaction profiles; expansion's turn, overlap-event, backchannel, and interruption rates are 4.6%, 8.0%, 13.2%, and 16.0% lower, respectively. We evaluate data properties only; downstream gains in full-duplex model training remain for future work.
- Abstract（参考訳）: フル二重音声モデルは、ターンテイキング、オーバーラップ、割り込み、バックチャネル動作を保存する訓練データを必要とするが、これらの信号は、ノイズの多い現実世界の録音でスピーカーに絡み合わされる。
実際の2話者の抜粋を3つの補完的なトレーニングデータアーティファクトに変換するパイプラインであるConversational Voiceを紹介する。
1) 話者特定トラックを分離し, 安定な話者割り当て, 標準文字起こし, 自然に観察された対話タイミングで分離する。
2) 一致した音声の音声を固定した音源書き起こしから生成し, ソースの順番, 一時停止, 重複を再構成し, 単語レベルのアライメントと配信指示を加える。
(3)拡張は、ソースコンテキスト、話者、観察された相互作用パターンによって制約された新しい対話を生成する。
自動話者検証尺度は, 0.983-0.991の同話者類似度, 0.199-0.209の正の識別マージンを有する段階にわたって強く保たれている。
予測音声品質(NISQA MOS)は分離用3.56、再構成用4.41、拡張用4.61である。
Geminiベースの自動評価器は、文脈コヒーレンスに4.94/5、対話自然度に4.80/5の拡張平均スコアを割り当てる。
拡張と再構成は、それぞれ4.6%、8.0%、13.2%、16.0%という、大きな相互作用プロファイルを示す。
データ特性のみを評価し、フルダブルプレックスモデルトレーニングにおけるダウンストリームゲインは、今後の作業のために残っています。
関連論文リスト
- SteerDuplex: Steerable Duplex Speech Dialogue Models [47.277615720741046]
音声対話モデルは、指示、発声、推論、対話を対象とする自然な会話や合成対話を微調整する。
2段階強化学習(RL)とハイブリッド報酬を併用し、検証可能な相互作用チェックと判断に基づくフィードバックを組み合わせて応答継続性を向上させる。
さらにRLはソースクリーン割り込み反応を72.5%から82.5%に引き上げ、合成停止バージインを26.5%から9%に減少させる。
論文 参考訳（メタデータ） (2026-09-11T09:22:46Z) - Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction [12.216811577733125]
本稿では,E2E音声対話システムを評価するためのオープンソースのベンチマークであるAudio MultiChallengeを紹介する。
そこで我々は,中発音声の補聴とバックトラックに対する頑健さを検査する新軸音声編集手法を提案する。
47の話者と1,712のインスタンス固有のルーリックとの452の会話を、オーディオネイティブエージェントとヒューマンインザループパイプラインのハイブリッドを通じてキュレートする。
論文 参考訳（メタデータ） (2025-12-16T19:26:44Z) - LibriConvo: Simulating Conversations from Read Literature for ASR and Diarization [1.0251581485267474]
話者認識型会話シミュレーション(SASC)に基づくマルチ話者対話データセットLibriConvoを紹介する。
意味的に切り離された発話に大きく依存する以前のリソースとは異なり、LibriConvoはセマンティックコヒーレンスとリアルな会話のタイミングを保証する。
データセットは、1,496の対話に830のユニークな話者を持つ240.1時間で構成され、頑健な評価のために話者の不一致な方法で分割される。
論文 参考訳（メタデータ） (2025-10-27T13:35:22Z) - CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [78.01028753403575]
CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。
フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。
提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-06-01T07:51:45Z) - Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model [47.67067056593085]
単一チャネルの対話データを擬似ステレオデータに変換するパイプラインを開発する。
これにより、トレーニングデータセットを2,000時間から17,600時間に拡大しました。
この擬似ステレオデータの導入は、音声対話言語モデルの性能向上に有効であることが証明されている。
論文 参考訳（メタデータ） (2024-07-02T03:22:41Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Residual Information in Deep Speaker Embedding Architectures [4.619541348328938]
本稿では,最新の高性能DNNアーキテクチャを用いて抽出した6組の話者埋め込みについて解析する。
データセットには46人の話者が同じプロンプトを発信し、プロのスタジオや自宅の環境に記録されている。
その結果、解析された埋め込みの識別力は非常に高いが、分析された全てのアーキテクチャにおいて、残余情報は依然として表現の中に存在することがわかった。
論文 参考訳（メタデータ） (2023-02-06T12:37:57Z) - AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios [143.47967241972995]
高品質音声合成のためのゼロショット適応型TSシステムであるAdaSpeech 4を開発した。
話者特性を体系的にモデル化し、新しい話者の一般化を改善する。
微調整なしでは、AdaSpeech 4は複数のデータセットのベースラインよりも声質と類似性が向上する。
論文 参考訳（メタデータ） (2022-04-01T13:47:44Z) - Continuous Speech Separation with Conformer [60.938212082732775]
分離システムでは、リカレントニューラルネットワークの代わりにトランスとコンバータを用いる。
我々は,自己注意に基づく方法でグローバルな情報を取得することが,音声分離に不可欠であると信じている。
論文 参考訳（メタデータ） (2020-08-13T09:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。