論文の概要: Controlling Speaking Rate in Autoregressive TTS via Activation Steering
- arxiv url: http://arxiv.org/abs/2609.33810v1
- Date: Sun, 27 Sep 2026 18:03:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:36:06.247334
- Title: Controlling Speaking Rate in Autoregressive TTS via Activation Steering
- Title(参考訳): アクティベーションステアリングによる自己回帰的TSの発話速度制御
- Abstract要約: 自動回帰音声合成システム(TTS)は、自然言語を合成するが、一度訓練すると、発話速度をほとんど制御しない。
我々は,1つのデコーダブロックのアクティベーションを,検出された速度軸に沿ってクランプすることで,再学習することなく,推論時に発話速度を判断できることを示す。
- 参考スコア(独自算出の注目度): 0.21173245847195934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoregressive text-to-speech (TTS) systems synthesize natural speech but, once trained, offer little control over speaking rate. We show that speaking rate can be steered at inference time, without retraining, by clamping a single decoder block's activation along a discovered speed axis. A decoder-block analysis recovers the rate axis, a neutral operating point, and a per-step intensity scale; at inference, the activation's projection onto this axis is set to a fixed scalar. Learning this direction from synthetically time-stretched and time-compressed speech yields rate control that largely preserves speaker identity, generalizes across model architectures, and maintains high naturalness in objective and human evaluations. Unlike standard additive steering, which breaks at the slow extreme, clamping remains stable on all three systems tested; at moderate targets, the better rule depends on the model. Finally, we show that rate information is decodable across layers but causally steerable only within a mid-depth window, and demonstrate the effectiveness of our approach on the public Seed-TTS-Eval benchmark.
- Abstract(参考訳): 自動回帰音声合成システム(TTS)は、自然言語を合成するが、一度訓練すると、発話速度をほとんど制御しない。
我々は,1つのデコーダブロックのアクティベーションを,検出された速度軸に沿ってクランプすることで,再学習することなく,推論時に発話速度を判断できることを示す。
デコーダブロック解析は、レート軸、中性動作点、ステップごとの強度スケールを回復し、推論時にこの軸へのアクティベーションの投影を固定スカラーに設定する。
この方向を合成的に時間延ばし、時間圧縮された音声から学習することで、話者のアイデンティティを保ち、モデルアーキテクチャをまたいで一般化し、客観的および人的評価において高い自然性を維持することができる。
遅い極端に壊れる標準の添加ステアリングとは異なり、クランプングはテストされた3つのシステムすべてで安定であり、適度なターゲットでは、より良いルールはモデルに依存します。
最後に,各層間でのレート情報のデオード化が可能であることを示すとともに,提案手法の有効性を公開Seed-TTS-Evalベンチマークで示す。
関連論文リスト
- Continuous-Time Acoustic Modelling with Neural Controlled Differential Equations [10.65480763707645]
本稿では, ニューラル制御微分方程式(CDE)を用いた TTS における持続時間を考慮した音響モデリングのための連続時間機構を提案する。
音声表現を時間パラメータ化制御経路として定式化し、ニューラルネットワークベクトル場を用いて連続時間隠れ状態を生成する。
以上の結果から,CDEに基づく1ステップ1台評価モデルでは,合成された感情強度と参照感情強度のランク順一致が向上することが示唆された。
論文 参考訳(メタデータ) (2026-09-10T15:41:32Z) - CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
CuteTTSはコンパクトな連続自己回帰型TSシステムである。
意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
論文 参考訳(メタデータ) (2026-08-09T11:10:20Z) - Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
フル音声言語モデル(FDSLM)における予測行動の解析
FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。
ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
論文 参考訳(メタデータ) (2026-06-09T19:08:07Z) - Hearing the Unspoken: Language Model Priors for Acoustic Adversarial Attacks [20.292054103939986]
ASRシステムは厳密な時間的制約の下で音響入力を処理しなければならない。
我々の新たなセマンティック・ガンビット攻撃は、この因果制限を、大規模言語モデルからリアルタイムで派生した予測コンテキストで敵を増強することで破る。
実験の結果, コーパスレベルの単語誤り率を35.6%に向上させることができることがわかった。
論文 参考訳(メタデータ) (2026-06-05T02:18:23Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳(メタデータ) (2026-04-16T02:30:41Z) - Speech Recognition Model Improves Text-to-Speech Synthesis using Fine-Grained Reward [4.375679183191095]
ASR-driven Attentive Reward (W3AR)による単語レベルTSアライメントの導入
W3ARは、事前訓練されたASRモデルからの注意を使って、TSモデルによって予測されるシーケンスのよりきめ細かいアライメントと最適化を駆動する。
実験により、W3ARは既存のTSシステムの品質を改善し、目に見えない話者に対するゼロショットロバスト性を強化することが示された。
論文 参考訳(メタデータ) (2025-11-12T17:30:13Z) - VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。
この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
論文 参考訳(メタデータ) (2024-06-12T04:09:44Z) - Controllable Accented Text-to-Speech Synthesis [76.80549143755242]
我々は、推論中にアクセントとその強度を制御できるニューラルネットワークTSアーキテクチャを提案する。
これは、明示的な強度制御を伴うアクセント付きTS合成の最初の研究である。
論文 参考訳(メタデータ) (2022-09-22T06:13:07Z) - Emphasis control for parallel neural TTS [8.039245267912511]
音声信号によって伝達される意味情報は、韻律の局所的な変化に強く影響される。
近年のパラレル・ニューラルテキスト・トゥ・音声(TTS)法は,高性能を維持しつつ高い忠実度で音声を生成することができる。
本稿では,重心変化に対応する潜在空間を学習することにより,韻律強調制御のための階層型並列型ニューラルネットワークTSシステムを提案する。
論文 参考訳(メタデータ) (2021-10-06T18:45:39Z) - VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep
VAE with Residual Attention [28.15932481851868]
本稿では,超深度変分オートエンコーダ(VDVAE)を用いた非自己回帰的(非AR)テキスト音声合成モデルを提案する。
実験結果から,VARA-TTSはARのタコトロン2に比べて音声品質がわずかに劣るが,推定精度は高くなることがわかった。
論文 参考訳(メタデータ) (2021-02-12T10:26:57Z) - End-to-End Text-to-Speech using Latent Duration based on VQ-VAE [48.151894340550385]
テキスト音声合成(TTS)におけるロバストかつ効率的なアライメントの実現の鍵となる明示的持続時間モデリング
本稿では,時間長をTSの離散潜在変数として組み込んだ明示的持続時間モデルを用いた新しいTSフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-19T15:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。