論文の概要: SCIC: Scope- and Codebook-Aware Instruction Conditioning for Speaker-Adapted Expressive TTS

• arxiv url: http://arxiv.org/abs/2609.39088v1
• Date: Wed, 30 Sep 2026 06:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.285656
• Title: SCIC: Scope- and Codebook-Aware Instruction Conditioning for Speaker-Adapted Expressive TTS
• Title（参考訳）: SCIC:話者適応型表現型TSのためのスコープ・コードブック対応指導条件
• Abstract要約: ロングフォームライブストリーミングTSは文脈依存の韻律と段落レベルのコヒーレンスを必要とする。 我々は,各ピッチ,エナジー,スピードの指示が同一話者から前節に対する節を対象とする話者相対的インライン韻律制御を導入する。 フレームレベルのタグアクティベートとタグ特化コードブック重み付けを組み合わせたSCIC(Scope- and Codebook-Aware Instruction Conditioning)を提案する。
• 参考スコア（独自算出の注目度）: 3.3557770021402304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-form live-streaming TTS requires context-dependent prosody and paragraph-level coherence. However, many existing instruction-based TTS systems use global or uniform conditions, providing limited explicit control over clause-level relative prosodic changes. We introduce Speaker-Relative Inline Prosody Control, where each Pitch, Energy, or Speed instruction targets a clause relative to the preceding clause from the same speaker, while Pause uses an absolute duration interval. In codec-based TTS, Speed and Pause affect sequence length, whereas Pitch and Energy rely on residual codebooks. By analyzing Qwen3-TTS RVQ codebooks, we find that Energy concentrates in early residual codebooks, whereas Pitch accumulates across a deeper prefix. We therefore propose Scope- and Codebook-Aware Instruction Conditioning (SCIC), combining a Temporal Instruction Router for frame-level tag activation with Tag-Specific Codebook Weighting over residual codebooks. SCIC improves speaker-relative Pitch and Energy control over standard instruction fine-tuning using text-token tags. We further apply multi-reward GDPO post-training to jointly optimize control and quality, improving control accuracy while preserving CER and speaker similarity. In long-form synthesis, SCIC produces a more distinct paragraph-level expressive hierarchy than speaker-adapted SFT without instructions. Audio demos are available at: https://taoliveaigc.github.io/SCIC/
• Abstract（参考訳）: ロングフォームライブストリーミングTSは文脈依存の韻律と段落レベルのコヒーレンスを必要とする。 しかし、多くの既存の命令ベースのTSシステムは、グローバルまたは均一な条件を使い、節レベルの相対的韻律的変化に対して限定的な制御を提供する。 本稿では,各ピッチ,エナジー,スピードの各命令が先行する節を同一話者から対象とし,Pauseは絶対時間間隔を使用する話者相対的インライン韻律制御を導入する。 コーデックベースのTSでは、SpeedとPauseはシーケンス長に影響し、PitchとEnergyは残余のコードブックに依存している。 Qwen3-TTS RVQコードブックを解析したところ、Energyは初期の残余コードブックに集中しているのに対し、Pitchはより深いプレフィックスにわたって蓄積していることがわかった。 そこで我々は,フレームレベルのタグアクティベーションのためのテンポラルインストラクションルータと,残留コードブック上のタグ特化コードブック重み付けを組み合わせた,スコープ・コードブック・インストラクション・コンディショニング(SCIC)を提案する。 SCICはテキストトークンを用いた標準命令微調整における話者相対ピッチとエネルギー制御を改善した。 さらに、制御と品質を協調的に最適化し、CERと話者類似性を保ちながら制御精度を向上させるために、マルチリワードGDPOポストトレーニングを適用する。 長文合成において、SCICは命令なしの話者適応SFTよりも段落レベルの表現階層を生成する。 オーディオデモは、https://taoliveaigc.github.io/SCIC/で公開されている。

関連論文リスト

• CodeTS: Verifiable Text-to-Time Series Generation via Executable Code [55.764516369801676]
  中間生成インタフェースとしてコードを使用する検証可能なフレームワークであるCodeTSを提案する。 CodeTSはまず、テキストの時間的記述を明示的なコード空間にマッピングする。 このコード生成プロセスを、実際のコードアノテーションなしで確実に学習するために、CodeTSは構造化された時間属性から、整列されたText-Code-TS三つ子を構成する。
  論文  参考訳（メタデータ） (2026-09-14T11:20:49Z)
• Continuous-Time Acoustic Modelling with Neural Controlled Differential Equations [10.65480763707645]
  本稿では, ニューラル制御微分方程式(CDE)を用いた TTS における持続時間を考慮した音響モデリングのための連続時間機構を提案する。 音声表現を時間パラメータ化制御経路として定式化し、ニューラルネットワークベクトル場を用いて連続時間隠れ状態を生成する。 以上の結果から,CDEに基づく1ステップ1台評価モデルでは,合成された感情強度と参照感情強度のランク順一致が向上することが示唆された。
  論文  参考訳（メタデータ） (2026-09-10T15:41:32Z)
• Hierarchical Codec Diffusion for Video-to-Speech Generation [34.08427878034203]
  VTS(Video-to-Speech)の生成は、聴覚信号なしでサイレントビデオから音声を合成することを目的としている。 既存のVTS手法は、粗い話者認識のセマンティクスからきめ細かい韻律的詳細にまたがる音声の階層性を無視している。 我々は、離散音声トークンの固有の階層構造を利用して、強力な音声・視覚的アライメントを実現する新しい階層型コーデックトランスであるHiCoDiTを提案する。
  論文  参考訳（メタデータ） (2026-04-17T10:28:21Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
  テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。 TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。 本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
  論文  参考訳（メタデータ） (2026-03-12T18:13:48Z)
• SupertonicTTS: Towards Highly Efficient and Streamlined Text-to-Speech System [10.156665325783583]
  SupertonicTTSは、効率的な音声合成のために設計された新しい音声合成システムである。 我々は、軽量アーキテクチャを実現するために、低次元の潜伏空間、潜伏空間の時間圧縮、およびConvNeXtブロックを用いる。 実験の結果、SupertonicTTSは、44Mパラメータしか持たない現代のゼロショットTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-03-29T14:59:32Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• ControlSpeech: Towards Simultaneous and Independent Zero-shot Speaker Cloning and Zero-shot Language Style Control [50.27383290553548]
  ControlSpeechは、話者の声を完全にクローンし、任意の制御と話し方の調整を可能にするTTS(text-to-speech)システムである。 ControlSpeechは、制御性、音色類似性、音質、堅牢性、一般化性の観点から、同等または最先端(SOTA)性能を示す。
  論文  参考訳（メタデータ） (2024-06-03T11:15:16Z)
• Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis [49.6007376399981]
  本稿では,自己回帰的注意に基づく音声合成システムにおいて,音素レベルでの韻律制御手法を提案する。 提案手法は、F0と持続時間の音素レベル制御を可能とし、生成した音声の品質を維持する。 F0クラスタのセントロイドを音符に置き換えることで、モデルはスピーカーの範囲内で音符とオクターブを制御できる。
  論文  参考訳（メタデータ） (2021-11-19T12:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。