論文の概要: Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors

• arxiv url: http://arxiv.org/abs/2606.19325v1
• Date: Wed, 17 Jun 2026 17:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.299024
• Title: Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
• Title（参考訳）: In-the-Wild 先行音源からの参照駆動型マルチスピーカ音声シーン生成
• Authors: Michael Finkelson, Daniel Segal, Eitan Richardson, Shahar Armon, Nani Goldring, Poriya Panet, Nir Zabari, Benjamin Brazowski, Or Patashnik, Yoav HaCohen,
• Abstract要約: 既存のマルチスピーカ対話システムは、構造化された監視を通して話者と発話を結合する。 提案手法であるScenAは,大規模インザミルドデータに基づいて事前学習したテキスト・オーディオ・フローマッチング基盤モデルである。 我々は、CoVoMix2-DialogueベンチマークでScenAを評価し、話者結合測定において、既存のマルチスピーカシステムよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.603967327834214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing multi-speaker dialogue systems bind speakers to utterances through structured supervision: per-turn tags, multi-stream transcriptions, or learnable speaker embeddings. These systems operate within speech-only pipelines that produce clean vocal sequences without the ambient texture of real conversations. We take a different approach. Our method, ScenA, conditions a text-to-audio flow-matching foundation model, pretrained on large-scale in-the-wild data, directly on multiple reference voices and a free-form natural language prompt that describes an entire multi-speaker audio scene. Leveraging such a foundational model allows us to inherit its capacity for natural, non-studio audio: background noise, room acoustics, overlapping dialogue, and spontaneous paralinguistic events, while adding multi-speaker control without any per-turn structure. Concretely, reference latents are concatenated into the model's token sequence and distinguished by lightweight identity-aware positional encodings. However, we identify a critical obstacle to this approach: the \textit{Reference Shortcut}. During training under standard noise schedules, the model can identify the matching reference by acoustic similarity to the noisy target, bypassing the text prompt entirely. We address this with a high-noise-biased timestep distribution that forces the model to rely on the text prompt for speaker assignment. We evaluate ScenA on the CoVoMix2-Dialogue benchmark, showing that it outperforms existing multi-speaker systems on speaker-binding metrics while generating rich conversational audio with overlapping speech, emotional vocalizations, and ambient sound. Our results demonstrate the advantage of using a general-purpose audio model conditioned on a free-form scene description, rather than passing structured dialog scripts through a speech-only pipeline.
• Abstract（参考訳）: 既存のマルチスピーカー対話システムは、話者を構造化された監督によって発話に結びつける: ターン毎のタグ、マルチストリームの書き起こし、学習可能な話者埋め込み。 これらのシステムは音声のみのパイプライン内で動作し、実際の会話の周囲のテクスチャを使わずにクリーンな音声シーケンスを生成する。 私たちは別のアプローチを取る。 提案手法であるScenAでは,複数の参照音声を直接ベースとした大規模インザワイルドデータと,マルチスピーカ音声シーン全体を記述した自由形式の自然言語プロンプトを用いて,テキストから音声へのフローマッチング基盤モデルを構築した。 このような基礎モデルを利用することで、バックグラウンドノイズ、室内音響、重複する対話、自然パラ言語イベントといった、自然の非オーディオの能力を継承できると同時に、ターン単位の構造を使わずにマルチスピーカ制御を追加することができる。 具体的には、参照潜伏剤はモデルのトークンシーケンスに連結され、軽量なID認識位置符号化によって区別される。 しかし、このアプローチにおける重要な障害を識別する: \textit{Reference Shortcut}。 標準ノイズスケジュール下でのトレーニングにおいて、モデルは、一致した参照をノイズターゲットと音響的類似性で識別し、テキストプロンプトを完全にバイパスする。 我々は、高ノイズバイアスのタイムステップ分布を用いてこの問題に対処し、モデルが話者の割り当てにテキストプロンプトを頼らざるを得ないようにする。 我々は,CoVoMix2-DialogueベンチマークでScenAを評価し,重なり合う音声,感情的発声,環境音を伴ってリッチな会話音声を生成しながら,既存の多話者システムよりも優れていることを示した。 本結果は,音声のみのパイプラインを経由する構造的ダイアログスクリプトを経由するのではなく,自由形式のシーン記述を前提とした汎用音声モデルを使用することの利点を示す。

関連論文リスト

• CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [78.01028753403575]
  CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。 フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。 提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-06-01T07:51:45Z)
• Unispeaker: A Unified Approach for Multimodality-driven Speaker Generation [66.49076386263509]
  本稿では,マルチモーダリティ駆動型話者生成のための統一的アプローチであるUniSpeakerを紹介する。 KV-Formerに基づく統一音声アグリゲータを提案し、多様な音声記述のモダリティを共有音声空間にマッピングするためにソフトコントラストロスを適用した。 UniSpeakerはMVCベンチマークを用いて5つのタスクで評価され、実験結果により、UniSpeakerは従来のモダリティ固有のモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-01-11T00:47:29Z)
• End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation [23.895122319920997]
  エンド・ツー・エンドおよびマルチタスク・トレーニングモデルを用いて、単一チャンネルのマルチ話者会話STに取り組む。 Speaker-Turn Aware Conversational Speech Translationは、音声認識、音声翻訳、話者のターン検出を組み合わせる。 本研究では,本モデルがマルチスピーカ条件で参照システムより優れ,単一スピーカ条件で同等の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-01T17:55:09Z)
• PromptTTS++: Controlling Speaker Identity in Prompt-Based Text-to-Speech Using Natural Language Descriptions [21.15647416266187]
  本稿では,自然言語記述を用いた話者識別制御が可能な音声合成システムPromptTTS++を提案する。 本稿では,話し方とほぼ独立に設計された音声特性を記述した話者プロンプトの概念を紹介する。 主観評価の結果,提案手法は話者プロンプトを使わずに話者特性を制御できることがわかった。
  論文  参考訳（メタデータ） (2023-09-15T04:11:37Z)
• Controllable speech synthesis by learning discrete phoneme-level prosodic representations [53.926969174260705]
  直感的な離散ラベルを用いたF0と持続時間に対する音素レベル韻律制御のための新しい手法を提案する。 複数話者音声データセットから音素レベルF0と持続時間の特徴を識別するために用いられる教師なし韻律クラスタリングプロセスを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:43:36Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。