論文の概要: DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
- arxiv url: http://arxiv.org/abs/2607.04941v1
- Date: Mon, 06 Jul 2026 11:17:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.124809
- Title: DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
- Title（参考訳）: DuplexChat:音声対話言語モデリングのための話者分離全二重対話音声の大規模構築
- Abstract要約: 音声対話モデルは、それぞれに訓練された会話音声モデルである。
このパイプラインを実行すると、話者分離音声対話コーパスが282,634英語132,723時間に及ぶ。
- 参考スコア（独自算出の注目度）: 28.175227878216607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-duplex spoken dialogue models are trained on conversational speech in which each speaker is represented as a separate stream, but existing large-scale public speech corpora are mostly monaural, making them unsuited for SDLM training. We present DuplexChat, an open-source corpus for full-duplex spoken dialogue models, and DuplexChat-Pipe, a pipeline for constructing speaker-separated full-duplex dialogue speech from public podcast feeds. DuplexChat-Pipe filters language-specific podcast feeds, retrieves and cleans episode audio, extracts diarization-guided two-speaker dialogue clips, and applies speech separation and restoration to produce one channel per speaker. Running this pipeline yields a speaker-separated spoken dialogue corpus covering 282,634 hours of English and 132,723 hours of Japanese. Analysis results on DuplexChat show that it contains turn-taking dynamics present in human dialogues.
- Abstract（参考訳）: 全二重音声対話モデルは、各話者が別々のストリームとして表現される会話音声に基づいて訓練されるが、既存の大規模音声コーパスは主に単調であり、SDLM訓練には適さない。
本稿では、全二重音声対話モデルのためのオープンソースのコーパスであるDuplexChatと、公開ポッドキャストフィードから話者分離された全二重対話音声を構築するパイプラインであるDuplexChat-Pipeを紹介する。
DuplexChat-Pipeは、言語固有のポッドキャストフィードをフィルタリングし、エピソードオーディオを検索し、クリーン化し、ダイアリゼーションにより誘導された2つの話者対話クリップを抽出し、音声分離と復元を行い、話者1人当たりのチャンネルを生成する。
このパイプラインを実行すると、話者分離音声対話コーパスが英語282,634時間、日本語132,723時間をカバーする。
DuplexChatの分析結果は、人間の対話に存在するターンテイクダイナミクスを含んでいることを示している。
関連論文リスト
- Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models [49.372283081631366]
AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。
モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
論文 参考訳（メタデータ） (2026-09-08T07:59:13Z) - KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction [29.52851418305386]
KABURITTSは、話者毎の音素を入力として、フレーム毎の音素に2人の話者の音声を描画する。
ユーザ評価の結果,提案手法は強いベースラインに対して,発話レベルと対話レベルの両方で自然性が得られることがわかった。
論文 参考訳（メタデータ） (2026-09-07T08:24:10Z) - Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。
対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:11Z) - TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation [72.46711449668814]
本稿では,対話型顔と会話型音声の両方を同期的に生成する統合フレームワークであるTAVIDを紹介する。
本システムの評価は, 顔のリアリズム, 頭部の応答性, ダイアディック相互作用, 音声品質の4つの側面にまたがる。
論文 参考訳（メタデータ） (2025-12-23T12:04:23Z) - Towards a Japanese Full-duplex Spoken Dialogue System [8.984488716637655]
近年,音声対話システムが注目されている。
本稿では,日本語で利用可能なフルステージ音声対話モデルについて紹介する。
本モデルは,日本語における大規模音声対話データに対する事前学習と,高品質なステレオ音声対話データによる微調整の2チャンネルプロセスを通じて訓練される。
論文 参考訳（メタデータ） (2025-06-03T15:16:50Z) - WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。
これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。
音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
論文 参考訳（メタデータ） (2024-11-15T04:16:45Z) - OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。
提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
論文 参考訳（メタデータ） (2024-10-23T11:58:58Z) - Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
本稿では,新しい対面音声対話モデルを提案する。
ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。
また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
論文 参考訳（メタデータ） (2024-06-12T04:48:36Z) - Towards human-like spoken dialogue generation between AI agents from
written dialogue [8.4989907582951]
本研究では,CHATS - CHATS-CHATty Agents Text-to-Speechを提案する。
本システムでは,話者側とリスナー側の両方に対して,話者側からの書き起こしのみを用いて同時に音声を生成することができる。
論文 参考訳（メタデータ） (2023-10-02T11:03:20Z) - Towards Joint Modeling of Dialogue Response and Speech Synthesis based
on Large Language Model [8.180382743037082]
本稿では,AI音声対話システムの構築の可能性について考察する。
論文 参考訳（メタデータ） (2023-09-20T01:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。