論文の概要: StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion

• arxiv url: http://arxiv.org/abs/2610.28940v1
• Date: Tue, 20 Oct 2026 21:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.148576
• Title: StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion
• Title（参考訳）: StyleStream 2.0: 高速で制御可能なストリーミング音声スタイルの変換
• Abstract要約: StyleStream 2.0はコントロール可能なストリーミング音声スタイル変換フレームワークである。 エンド・ツー・エンドのレイテンシをコンシューマGPUで520msに短縮し、StyleStream 1.0の2倍のスピードアップを実現した。 VSC、音声デザイン、音声編集において最強のターゲットスタイルの忠実性を達成する。
• 参考スコア（独自算出の注目度）: 4.2800026230988335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Voice style conversion (VSC) aims to transform a source utterance to match the timbre, accent, and emotion of a target voice while preserving linguistic content. StyleStream 1.0 introduced the first streamable zero-shot VSC system with state-of-the-art conversion quality, but remained limited in two ways: approximately 1s end-to-end latency on consumer hardware, and the lack of a text-based interface for designing or editing target voices. We present StyleStream 2.0, a fast and controllable streaming VSC framework that addresses these limitations. To reduce latency, we train a few-step pixel MeanFlow model and further fine-tune it with autoregressive feedback inspired by Self Forcing, improving robustness under streaming inference. This reduces end-to-end latency to 520~ms on a consumer GPU, a 2x speedup over StyleStream 1.0, while maintaining conversion quality. To enable controllable style manipulation, we remove the mel-spectrogram context and instead route target style information through a compact style embedding. In this embedding space, we train a unified text-conditioned flow matching model that supports both text-based voice design, which maps natural language prompts to voice styles, and instruction-based voice editing, which modifies a specific attribute of a source utterance while preserving the rest. Experiments show that StyleStream 2.0 achieves the strongest target style fidelity on VSC, voice design, and voice editing, while remaining competitive on intelligibility and non-edited attribute preservation.
• Abstract（参考訳）: 音声スタイル変換(VSC)は、音声の音色、アクセント、感情と一致させるために、言語的内容を保持しながらソースの発話を変換することを目的としている。 StyleStream 1.0は、最先端の変換品質を持つ最初のストリーム可能なゼロショットVSCシステムを導入したが、コンシューマハードウェアでのエンドツーエンドのレイテンシは約1秒、ターゲットの音声を設計または編集するためのテキストベースのインターフェースがないという2つの方法に制限されていた。 StyleStream 2.0は、これらの制限に対処する高速で制御可能なストリーミングVSCフレームワークです。 レイテンシを低減するために、数ステップのMeanFlowモデルをトレーニングし、Self Forcingにインスパイアされた自己回帰フィードバックによってさらに微調整を行い、ストリーミング推論下での堅牢性を改善します。 これにより、変換品質を維持しながら、StyleStream 1.0の2倍のスピードアップであるコンシューマGPUでは、エンドツーエンドのレイテンシを520～msに短縮する。 制御可能なスタイル操作を可能にするために,メル・スペクトログラムコンテキストを除去し,代わりに,コンパクトなスタイル埋め込みを通じてターゲットスタイル情報をルーティングする。 この埋め込み空間では、自然言語のプロンプトを音声スタイルにマッピングするテキストベースの音声設計と、音声を保存しながらソース発話の特定の属性を変更する命令ベースの音声編集の両方をサポートする統一されたテキスト条件付きフローマッチングモデルを訓練する。 実験の結果,StyleStream 2.0はVSC,音声設計,音声編集において最も高いターゲットスタイルの忠実度を達成し,インテリジェンスや非編集属性の保存に競争力を維持していることがわかった。

関連論文リスト

• Unlocking Fine-Grained and Within-Utterance Speaking Style Control in Prompt-Based Text-to-Speech Models [11.115821694268716]
  一つの発話において,発話と時間変化の異なるスタイル遷移の連続的なスタイル属性を実現する手法を提案する。 提案音声は, 最大36Hzのピッチ変化, 最大1.6音節/秒の速度変化において, 99-100%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-09T01:06:26Z)
• StyleStream: Real-Time Zero-Shot Voice Style Conversion [14.496282800974141]
  StyleStreamは、最先端のパフォーマンスを実現するゼロショット音声スタイル変換システムである。 設計は完全な非自己回帰アーキテクチャを可能にし、エンドツーエンドのレイテンシ1秒で、リアルタイムの音声スタイル変換を実現する。
  論文  参考訳（メタデータ） (2026-02-23T18:32:59Z)
• Voxtral Realtime [134.66962524291424]
  Voxtral Realtimeはストリーミング自動音声認識モデルである。 オフラインの書き込み品質は、秒以下のレイテンシで一致します。 私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
  論文  参考訳（メタデータ） (2026-02-11T19:17:10Z)
• Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion [53.26424100244925]
  表現的音声変換は、話者識別と表現的属性の両方を対象音声から所定の音源音声に転送することを目的としている。 本研究では,条件付き変分オートエンコーダを用いた自己監督型非自己回帰型フレームワークを改良する。
  論文  参考訳（メタデータ） (2025-06-04T14:42:12Z)
• FlowDubber: Movie Dubbing with LLM-based Semantic-aware Learning and Flow Matching based Voice Enhancing [81.3306413498174]
  Movie Dubbingは、スクリプトを、時間的および感情的な両方の面において、所定の映画クリップと整合するスピーチに変換することを目的としている。 既存の手法は、リップシンクと音響品質の重要性を無視しながら、単語エラー率の低減に重点を置いている。 ダビングのための大規模言語モデル(LLM)に基づくフローマッチングアーキテクチャであるFlowDubberを提案する。
  論文  参考訳（メタデータ） (2025-05-02T13:30:19Z)
• TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control [58.96445085236971]
  スタイル転送とスタイル制御を備えたゼロショット歌唱音声合成(SVS)は、目に見えない音色とスタイルで高品質な歌唱音声を生成することを目的としている。 言語間音声および歌唱スタイル間のスタイル伝達のための,最初のゼロショットSVSモデルであるTCSingerを紹介する。
  論文  参考訳（メタデータ） (2024-09-24T11:18:09Z)
• FreeStyle: Free Lunch for Text-guided Style Transfer using Diffusion Models [11.401299303276016]
  我々は,事前学習した大拡散モデルに基づいて構築された,革新的なスタイル転送手法であるFreeStyleを紹介する。 本手法では,所望のスタイルのテキスト記述のみでスタイル転送が可能であり,スタイル画像の必要がなくなる。 実験の結果,様々なコンテンツ画像とスタイルのテキストプロンプトにまたがって,提案手法の高品質な合成と忠実さを実証した。
  論文  参考訳（メタデータ） (2024-01-28T12:00:31Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• Fine-grained style control in Transformer-based Text-to-speech Synthesis [78.92428622630861]
  本稿では,Transformer-based text-to-speech synthesis (TransformerTTS) におけるきめ細かいスタイル制御を実現する新しいアーキテクチャを提案する。 参照音声から局所的スタイルトークン(LST)の時系列を抽出することにより、発話スタイルをモデル化する。 実験により, きめ細かいスタイル制御では, 自然性, 知能性, スタイル伝達性が向上することが示された。
  論文  参考訳（メタデータ） (2021-10-12T19:50:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。