論文の概要: Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models

• arxiv url: http://arxiv.org/abs/2610.40505v1
• Date: Thu, 29 Oct 2026 17:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.548099
• Title: Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models
• Title（参考訳）: 自己回帰音声同期型TSモデルにおける解釈可能な音響特徴の発見
• Abstract要約: 本稿では,自動回帰音声閉替TSモデルのための機能ベースの解釈可能性フレームワークを提案する。 スパース・オートエンコーダ(SAE)、PCA、ランダム方向の特徴をスパース・プロブリング、ステアリング、定量的自己解釈可能性を用いて解析する。
• 参考スコア（独自算出の注目度）: 54.15873111975667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Voice-cloning TTS models synthesize an unseen speaker's voice from brief speech prompts, but it remains unclear which acoustic properties they represent and use. We introduce a feature-based interpretability framework for autoregressive voice-cloning TTS models, analyzing features from sparse autoencoders (SAEs), PCA, and random directions via sparse probing, steering, and quantitative auto-interpretability. We focus on Qwen3-TTS and extend probing and steering to $5$ additional models to test generalization across architectures. These models encode concepts like pitch, energy, noise, and accent, but sparse prediction and steering are effective only for some concepts. Strong probing does not always translate to steering or vice-versa. SAEs are useful for sparse probing of human-labelled concepts and novel-concept discovery, while PCA is competitive for dense probing and steering. Auto-interpretability finds $684$ automatically validated SAE features in Qwen3-TTS covering speaker clusters, speaking style, and recording conditions beyond known concepts. Overall, we perform a comprehensive interpretability study of autoregressive voice-cloning TTS models.
• Abstract（参考訳）: 音声閉鎖型TTSモデルは、短い音声プロンプトから未知の話者の声を合成するが、どの音響特性を表現し、使用するかは定かではない。 自動回帰音声閉替TSモデルのための機能ベースの解釈可能性フレームワークを導入し、スパースオートエンコーダ(SAE)、PCA、ランダム方向の特徴をスパースプロブリング、ステアリング、定量的自動解釈可能性によって分析する。 我々はQwen3-TTSに注力し、アーキテクチャ間の一般化をテストするために5ドルの追加モデルに探索とステアリングを拡張します。 これらのモデルはピッチ、エネルギー、ノイズ、アクセントといった概念を符号化するが、スパース予測とステアリングはいくつかの概念にのみ有効である。 強い探究は必ずしも操舵や逆転を意味するとは限らない。 SAEは人間を巻き込んだ概念のスパース探索や新しい概念発見に有用であり、PCAは密集した探索と操舵に適している。 自動解釈能力は、Qwen3-TTSで684ドルで自動検証されたSAE機能で、話者クラスタ、話し方、既知の概念を超えた記録条件をカバーしている。 全体として、自動回帰音声閉鎖型TSモデルの包括的解釈可能性の検討を行う。

関連論文リスト

• Mechanistic Interpretability of ASR models using Sparse Autoencoders [2.835219195516112]
  ディープトランスフォーマーに基づくNLPモデルの内部メカニズムは、大半が謎のままである。 スパースオートエンコーダ(SAE)は、密度の高い表現をスパースベクトルに投影することで、これらのメカニズムを理解するために登場した。 本研究では、トランスフォーマーベースのASRであるWhisperにSAEを適用し、Whisperエンコーダから抽出したフレームレベルの埋め込みに対して、高次元のスパース潜在空間をトレーニングする。
  論文  参考訳（メタデータ） (2026-05-12T15:02:20Z)
• Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
  最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。 複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。 音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:30:12Z)
• Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model [11.62674351793]
  複数の拡張を伴ってコンテキスト特徴を適応する新しい音声ベースのTSモデルを提案する。 Qformerの成功に触発されて,マルチモーダルなコンテキスト強化Qformerを提案する。 提案手法は,様々な状況のTSシナリオにおいて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2024-06-06T03:06:45Z)
• Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
  Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T08:54:49Z)
• Continual Learning for On-Device Speech Recognition using Disentangled Conformers [54.32320258055716]
  本稿では,LibriVoxオーディオブックから派生した話者固有領域適応のための連続学習ベンチマークを提案する。 本稿では,DistangledCLと呼ばれる計算効率のよい連続学習アルゴリズムを提案する。 実験の結果, DisConformer モデルは一般的な ASR のベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-02T18:58:51Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE [36.50265124324876]
  本稿では,テキストと音声のペアを必要としない,教師なしの音声合成モデルであるUTTSを提案する。 このフレームワークは、話者の持続時間モデル、音色特徴(アイデンティティ)、TTS推論のための内容の柔軟な選択を提供する。 実験により、UTTSは人間と客観的評価によって測定された高い自然性と知性のある音声を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-06-06T11:51:22Z)
• AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios [143.47967241972995]
  高品質音声合成のためのゼロショット適応型TSシステムであるAdaSpeech 4を開発した。 話者特性を体系的にモデル化し、新しい話者の一般化を改善する。 微調整なしでは、AdaSpeech 4は複数のデータセットのベースラインよりも声質と類似性が向上する。
  論文  参考訳（メタデータ） (2022-04-01T13:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。