Fugu-MT 論文翻訳(概要): UltraVoice: Scaling Fine-Grained Style-Controlled Speech Conversations for Spoken Dialogue Models

論文の概要: UltraVoice: Scaling Fine-Grained Style-Controlled Speech Conversations for Spoken Dialogue Models

arxiv url: http://arxiv.org/abs/2510.22588v1
Date: Sun, 26 Oct 2025 09:06:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-28 19:54:32.541665
Title: UltraVoice: Scaling Fine-Grained Style-Controlled Speech Conversations for Spoken Dialogue Models
Title（参考訳）: UltraVoice:音声対話モデルのための細粒度スタイル制御音声対話のスケーリング
Authors: Wenming Tu, Guanrou Yang, Ruiqi Yan, Wenxi Chen, Ziyang Ma, Yipeng Kang, Kai Yu, Xie Chen, Zilong Zheng,
Abstract要約: 我々は,複数のきめ細かい音声スタイル制御のために開発された,最初の大規模音声対話データセットであるUltraVoiceを紹介する。 SLAM-OmniやVocalNet on UltraVoiceのような微調整型の先行モデルは、その微調整性を大幅に向上させる。 URO-Benchベンチマークでは、微調整されたモデルでは、コア理解、推論、会話能力が大幅に向上した。
参考スコア（独自算出の注目度）: 37.12134339309316
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spoken dialogue models currently lack the ability for fine-grained speech style control, a critical capability for human-like interaction that is often overlooked in favor of purely functional capabilities like reasoning and question answering. To address this limitation, we introduce UltraVoice, the first large-scale speech dialogue dataset engineered for multiple fine-grained speech style control. Encompassing over 830 hours of speech dialogues, UltraVoice provides instructions across six key speech stylistic dimensions: emotion, speed, volume, accent, language, and composite styles. Fine-tuning leading models such as SLAM-Omni and VocalNet on UltraVoice significantly enhances their fine-grained speech stylistic controllability without degrading core conversational abilities. Specifically, our fine-tuned models achieve improvements of 29.12-42.33% in Mean Opinion Score (MOS) and 14.61-40.09 percentage points in Instruction Following Rate (IFR) on multi-dimensional control tasks designed in the UltraVoice. Moreover, on the URO-Bench benchmark, our fine-tuned models demonstrate substantial gains in core understanding, reasoning, and conversational abilities, with average improvements of +10.84% on the Basic setting and +7.87% on the Pro setting. Furthermore, the dataset's utility extends to training controllable Text-to-Speech (TTS) models, underscoring its high quality and broad applicability for expressive speech synthesis. The complete dataset and model checkpoints are available at: https://github.com/bigai-nlco/UltraVoice.
Abstract（参考訳）: 音声対話モデルは、現在、微粒な音声スタイル制御能力が欠如している。これは人間のようなインタラクションにとって重要な能力であり、推論や質問応答のような純粋に機能的な機能にしばしば見過ごされる。この制限に対処するために,複数のきめ細かな音声スタイル制御のために設計された,最初の大規模音声対話データセットであるUltraVoiceを導入する。音声対話に830時間以上を費やしたUltraVoiceは、感情、スピード、ボリューム、アクセント、言語、複合スタイルの6つの主要な音声スタイリスティックな側面に指示を与える。 SLAM-OmniやVocalNet on UltraVoiceのような微調整型先行モデルは、中核的な会話能力の低下を伴わずに、その微調整性を大幅に向上させる。具体的には、UltraVoiceで設計した多次元制御タスクにおいて、平均オピニオンスコア(MOS)の29.12-42.33%、命令追従レート(IFR)の14.61-40.09ポイントの改善を実現している。さらに,URO-Benchベンチマークでは,基本設定では+10.84%,Pro設定では+7.87%,コア理解,推論,会話能力が大幅に向上した。さらに、データセットの実用性は、制御可能なテキスト音声(TTS)モデルのトレーニングにまで拡張され、その高品質で広範な音声合成の適用性が強調される。完全なデータセットとモデルチェックポイントは、https://github.com/bigai-nlco/UltraVoice.comで入手できる。

論文の概要: UltraVoice: Scaling Fine-Grained Style-Controlled Speech Conversations for Spoken Dialogue Models

関連論文リスト