論文の概要: Kezek: Splitting Mono Two-Person Conversations into Per-Speaker Tracks for Full-Duplex Dialogue Data
- arxiv url: http://arxiv.org/abs/2611.16933v1
- Date: Thu, 12 Nov 2026 15:19:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.500788
- Title: Kezek: Splitting Mono Two-Person Conversations into Per-Speaker Tracks for Full-Duplex Dialogue Data
- Title(参考訳): Kezek: フルダブルダイアログデータのためのモノの2対会話を話者毎のトラックに分割する
- Abstract要約: Kezek(ケゼック)は、正確に2人のモノを1人1人1トラックに、オリジナルの長さとタイミングで記録するモデルである。
キーゼックは、誰がいつ、誰が誰であるかをレコーディング全体のために決める。
速度は4~5倍(毎時約230時間)。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-duplex spoken dialogue models learn turn-taking, overlaps and backchannels from conversations recorded with one channel per speaker, but most available conversational audio is a single mono mix. We present Kezek, a model that turns a mono recording of exactly two people into one track per person with the original length and timing; overlaps and short replies ("yeah", "mm-hm") stay on the track of the person who said them. Kezek decides who speaks when and who is who once for the whole recording (stage 1: a two-voice activity model guided by a speaker fingerprint trained to be insensitive to phase), and a conditioned time-domain separator only carries out that decision (stage 2), with outputs that always sum to the input. Standard separation metrics miss the failures that matter for dialogue data, so we report short-reply retention, leakage onto the other person's solo, channel swaps and coverage. Against the open pipeline pyannote -> DialogueSidon on the same recordings, Kezek keeps more short replies (0.83 vs. 0.69 on Open Yap test; 0.80 vs. 0.71 over the other's speech on unseen telephone speech from CallHome English), mostly because it returns the whole recording while the external pipeline drops part of it (on the audio both return, reply retention is about the same: 0.859 vs. 0.865 on Open Yap); it also leaks less, swaps channels less often, and runs 4-5 times faster (about 230 hours of audio per GPU-hour). We also report negative results and an ideal-mask ceiling that locate the remaining gap: quiet replies under a louder voice. Code and weights are released under permissive licences.
- Abstract(参考訳): フル二重音声対話モデルは、話者毎に1つのチャンネルで記録された会話から、ターンテイキング、オーバーラップ、バックチャネルを学習するが、ほとんどの会話音声は単一の混合である。
我々は、Kezekというモデルを紹介します。これは、正確に2人のモノの録音を、オリジナルの長さとタイミングで1人1トラックに変換するモデルです。重なり合いと短い応答("yeah", "mm-hm")は、その人のトラックに留まります。
キーゼックは、録音全体に対して、誰がいつ、誰が誰であるか(ステージ1:、位相に敏感に訓練された話者指紋によって導かれる2声活動モデル)を判断し、条件付き時間領域分離器は、常に入力に合計される出力で、その決定のみを実行する(ステージ2)。
標準分離メトリクスは、対話データにとって重要な障害を見逃しているため、短時間のリプライ保持、他人のソロへのリーク、チャンネルスワップ、カバレッジを報告します。
オープンパイプラインのピアンノート -> ダイアログシードン 同じ録音では、Kezekはより短い応答(Open Yapテストでは0.83対0.69、CallHome Englishでは0.80対0.71)を維持している。
また, 陰性な結果と, 残差を見つける理想的なマスク天井, 静かな応答を, より大きな声で報告した。
コードとウェイトは寛容なライセンスで解放される。
関連論文リスト
- ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models [34.94467140023976]
ReListenは,凍結した音声言語モデルが答える前に独自の証拠を発見できる学習自由な手法である。
Jevスタイルのスキャンでは、各20秒のウィンドウを、その質問に答える確率でスコアし、最高スコアの瞬間から回答する。
論文 参考訳(メタデータ) (2026-11-03T08:12:55Z) - Why Full-Duplex Speech Models Collapse in Long Conversations [48.48928768694961]
完全な音声モデルは、聞いている間もフレームごとにトークンを生成し、数分でコンテキストウィンドウを消します。
しかし、長軸長軸問題の短さを露呈するラウンドは1回か数回のみである。
本稿では,FD-LHB(Full-Duplex Long Horizon Benchmark)を紹介する。
論文 参考訳(メタデータ) (2026-10-23T08:43:45Z) - Beyond Two Tracks: Speaker-Anchored Full-Duplex Dialogue Recovery [12.029635853887866]
ジェネレーティブ・リカバリは通常の録音からルートを提供するが、2声のリカバリは十分である。
話者付きルーティングは、間違ったトラック時間を43.9%から4.1%に短縮する。
25分間の遠隔会話では、ルーティングは間違ったトラックタイムを43.9%から4.1%に短縮する。
同じルータが見えない顔と電話の録音に転送され、出力の20~36%を埋め込む間、マージンゲートの検証ステップでトラック時間が0.9~1.7%に短縮される。
論文 参考訳(メタデータ) (2026-10-19T18:09:47Z) - People Making Conversation: Evaluating How Naturally Speech Models Converse [0.0]
リアルタイム音声システムは、427停止時と482ターンで、Seamless Interactionにおける176の未記述会話から終了する。
これまでに各会話を行い、その人がしたことに対して何を生み出したかを記録します。
6つのシステムにまたがって、ホストされたAPIは、使用するエンドポイントのほぼすべての一時停止で応答する。
論文 参考訳(メタデータ) (2026-10-08T23:18:20Z) - Coupled but Late: Turn-Taking Between Full-Duplex Speech Models in Unscripted Dialogue [11.150781169320375]
ループでは、人間はタイミングエラーを吸収しない:各モデルのターンテイクはその入力である。
会話を通してスピーカーを再ペアリングすることは、それを破壊します。
しかし、床は人間に対して平均で400~560msの速度で手を変え、最後の120msのケースでは人間の投射が1%を占める。
論文 参考訳(メタデータ) (2026-10-06T17:03:54Z) - NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities [51.20614728073928]
NemoLabs VoiceChatは、音声合成ツールのネイティブ機能を備えた、オープンなフル音声モデルである。
ストリーミング音声エンコーダのみの言語モデルと、テキストと構造化関数呼び出しのための並列化された出力ストリームを組み合わせる。
NemoLabs VoiceChatはVoiceBenchの正規化平均55.1、Full-Duplex-Bench 3.0(FDB 3.0)では82.5%のツール選択F1を達成している。
これらの結果から, 音声対話, 音声認識・生成, 汎用言語能力, 外部ツール利用が, 単一のオープン音声に一体化できることが示唆された。
論文 参考訳(メタデータ) (2026-09-18T16:27:22Z) - FLM-Audio: Natural Monologues Improves Native Full-Duplex Chatbots via Dual Training [38.868221563879366]
完全なダイアログモデルは、迅速な応答を提供すると同時に話すことを目指している。
この問題に対処するために、連続した文と待ち時間からなる自然なモノローグを導入する。
音声と自然なモノローグを意味的に整合させるには,適切なトレーニングパラダイムが不可欠である。
デュアルトレーニングパラダイムは、異なるトレーニングステージ間でモノローグの位置を交換する。
FLM-AudioAudioは,実験結果から確認され,優れた応答特性とチャット体験の相違が認められた。
論文 参考訳(メタデータ) (2025-09-02T17:18:49Z) - CoVoMix: Advancing Zero-Shot Speech Generation for Human-like Multi-talker Conversations [97.75037148056367]
CoVoMixは、ゼロショット、人間ライク、マルチスピーカー、マルチラウンド対話音声生成のための新しいモデルである。
対話モデリングと生成の有効性を測定するための総合的なメトリクスセットを考案する。
論文 参考訳(メタデータ) (2024-04-10T02:32:58Z) - TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head
Translation [54.155138561698514]
音声から音声への直接翻訳は、自己教師付き学習から得られる離散単位を導入することにより、高品質な結果が得られる。
既存の方法は常にカスケードに依存し、音声とテキストの両方を通して合成し、遅延やカスケードエラーを引き起こす。
本稿では,音声-視覚音声を他の言語で直接音声-視覚音声に翻訳できる,頭部翻訳モデルである textbfTransFace を提案する。
論文 参考訳(メタデータ) (2023-12-23T08:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。