論文の概要: Steerspeech: Activation Steering For Emotion Control In Generated Speech

• arxiv url: http://arxiv.org/abs/2610.10415v1
• Date: Wed, 07 Oct 2026 16:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.064195
• Title: Steerspeech: Activation Steering For Emotion Control In Generated Speech
• Title（参考訳）: Steerspeech: 生成音声における感情制御のためのアクティベーションステアリング
• Abstract要約: 我々は、ステアリングベクトルを隠れアクティベーションに注入することで感情を制御する軽量なアクティベーションステアリングフレームワークであるSteerSpeechを提案する。 各目標感情に対して、単調な感情制御を促進するマルチエキスパート目標を用いて、軽量な低ランク変換を訓練する。 推定では、目標感情操舵方向をそれぞれの変換で最適化し、ベースTSモデルに注入する。
• 参考スコア（独自算出の注目度）: 4.42383617731229
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pretrained text-to-speech (TTS) models can generate expressive speech, but reliable inference-time emotion control remains challenging: prompts and reference audio offer coarse, inconsistent control, whereas specialized conditioning and model adaptation require costly training. We present SteerSpeech, a lightweight activation-steering framework that controls emotion by injecting steering vectors into hidden activations. For each target emotion we train a lightweight low-rank transform, using a multi-expert objective that encourages monotonic emotion control while preserving speaker identity and linguistic content, constraining steering drift, and keeping the TTS backbone frozen. To optimize through discrete speech tokens, we introduce a two-pass generation-and-replay pipeline using a straight-through estimator to backpropagate expert supervision through sampled tokens. At inference, a target-emotion steering direction is optimized with its respective transform and injected into the base TTS model. Objective and subjective evaluations with Qwen3-TTS across seen, unseen, and accented speakers show stronger continuous emotion control with limited speaker and content degradation. SteerSpeech achieves 1.08x-7.12x baseline target-emotion scores and for a representative emotion subjectively, it receives 78.1%-96.8% intensity preference and 1.43x-1.46x speaker-identity preservation at high steering strengths.
• Abstract（参考訳）: 事前訓練されたテキスト音声合成(TTS)モデルは、表現力のある音声を生成することができるが、信頼できる推論時感情制御は依然として困難である。 我々は、ステアリングベクトルを隠れアクティベーションに注入することで感情を制御する軽量なアクティベーションステアリングフレームワークであるSteerSpeechを提案する。 各目標感情に対して、話者のアイデンティティと言語的内容を保持しながら単調な感情制御を奨励し、ハンドルのドリフトを制限し、TSバックボーンを凍結させながら、軽量な低ランク変換を訓練する。 離散音声トークンを最適化するために、ストレートスルー推定器を用いて2パス生成再生パイプラインを導入し、サンプルトークンを通して専門家の監督をバックプロパゲートする。 推定では、目標感情操舵方向をそれぞれの変換で最適化し、ベースTSモデルに注入する。 Qwen3-TTSによる主観的・主観的評価は、目視、目視、アクセントのある話者は、限られた話者と内容の劣化を伴う強い継続的な感情制御を示す。 SteerSpeechは1.08x-7.12xのベースライン目標感情スコアを達成し、主観的な感情に対して78.1%-96.8%の強度優先と1.43x-1.46xの話者アイデンティティを高いステアリング強度で保持する。

関連論文リスト

• Loud and Clear: Dynamic Activation Steering for Improving Speech Intelligibility in Noisy Environments [61.29502937013759]
  我々は,アクティベーションステアリングを用いて,テキスト音声(TTS)モデルを誘導し,より理解しやすい音声を生成することができるかを検討する。 本手法は,Lombard 関連音響特性の体系的変化を,可視・不可視話者と複数の言語で生成する。 その結果、事前学習したTSモデルを動的に制御し、再学習せずにより分かりやすい音声を生成することができた。
  論文  参考訳（メタデータ） (2026-10-06T02:41:15Z)
• EmoRES-TTS: Residual-Enhanced Vector Steering for Emotional Speech Generation [64.35617375351545]
  本研究では,凍結モデルの内部表現を自由化するためのベクトルステアリングについて検討する。 EmoRESは、バックボーンを再トレーニングすることなく2つのコンポーネントを制御する新しい方法である。
  論文  参考訳（メタデータ） (2026-09-29T17:59:05Z)
• EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis [36.831497786147864]
  EmoSteerレイヤを組み込んだ軽量なアクティベーションステアリングフレームワークであるEmoShiftを提案する。 EmoShiftは出力埋め込み空間内の各ターゲット感情に対するステアリングベクトルを学習し、その潜在オフセットをキャプチャし、安定した適切な表現を維持する。 完全な微調整の1/30未満のトレーニング可能なパラメータは10Mに過ぎず、EmoShiftはゼロショットと完全に微調整されたベースラインを客観的および主観的な評価で上回っている。
  論文  参考訳（メタデータ） (2026-01-30T11:50:23Z)
• EmoSteer-TTS: Fine-Grained and Training-Free Emotion-Controllable Text-to-Speech via Activation Steering [40.298056212942726]
  EmoSteer-TTSは、きめ細かい音声感情制御を実現するための、新しい訓練不要のアプローチである。 EmoSteer-TTSは、音声感情のきめ細かな、解釈可能な、連続的な制御を可能にし、最先端(SOTA)よりも優れている
  論文  参考訳（メタデータ） (2025-08-05T15:12:49Z)
• IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech [13.3878636941081]
  IndexTTS2は、音声持続時間制御のための新しい、一般的な、そして自己回帰的なモデルフレンドリーな方法である。 感情表現と話者同一性の間の絡み合いを達成し、音色と感情の独立制御を可能にする。 単語誤り率、話者類似度、感情的忠実度の観点から、最先端のゼロショットTSモデルより優れている。
  論文  参考訳（メタデータ） (2025-06-23T08:33:40Z)
• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models [83.07390037152963]
  ZET-Speech はゼロショット適応型 TTS モデルである。 ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。 実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T08:52:00Z)
• Explicit Intensity Control for Accented Text-to-speech [65.35831577398174]
  TTSの過程におけるアクセントの強度の制御は、非常に興味深い研究方向である。 近年の作業は、話者とアクセント情報をアンタングルし、そのアクセント強度を制御するために損失重量を調整するために、話者対アダルロスを設計している。 本稿では,アクセント付きTSのための直感的かつ明示的なアクセント強度制御方式を提案する。
  論文  参考訳（メタデータ） (2022-10-27T12:23:41Z)
• Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。 本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。 提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-31T04:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。