論文の概要: Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models

• arxiv url: http://arxiv.org/abs/2609.01723v1
• Date: Tue, 01 Sep 2026 18:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.76581
• Title: Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models
• Title（参考訳）: ウィスパーの聞き取り:微調整TSモデルによるブラックボックスメンバーシップ推論攻撃
• Abstract要約: 既存のブラックボックスメンバシップ推論攻撃(MIA)は、テキスト音声(TTS)モデルに適応する際、ユニークな課題に直面している。 話者レベルと記録レベルの両方において、TSモデルに明示的に適合した最初のブラックボックスMIAフレームワークを提示する。
• 参考スコア（独自算出の注目度）: 23.501699222486412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-Speech (TTS) foundation models are increasingly fine-tuned on private datasets to synthesize highly personalized voices, introducing severe privacy risks by exposing both biometric identities and sensitive speech content. Existing black-box membership inference attacks (MIAs) follow a two-stage pipeline of query generation and representation engineering, both of which face unique challenges when adapted to TTS. For query generation, dual conditioning on synthesis text and reference speech creates a large and underexplored query design space with no established criterion for identifying an effective query. For representation engineering, the multi-level speech characteristics and temporal variability of speech make low-level representations and direct comparisons inadequate for capturing membership signals. To address these challenges, we present the first black-box MIA framework explicitly tailored to TTS models at both the speaker and record levels. For query generation, we characterize the feasible query space and establish two criteria, scorable extent and memorization elicitation, for evaluating five representative queries, identifying recitation as the strongest. For representation engineering, we obtain multi-level speech representations from embedding models and temporally align the generated and target audio for fine-grained comparison. Evaluations across three state-of-the-art TTS models (CosyVoice2, F5-TTS, and XTTS-v2) fine-tuned on two benchmark datasets (VCTK and British Dialect) reveal severe privacy leakage: speaker-level AUC remains above 0.80 and approaches 1.0 in the strongest settings, while record-level AUC ranges from 0.80 to 0.90 and remains effective even in challenging scenarios where both members and non-members are of the same speakers. We further identify speech characteristics associated with disproportionate vulnerability to memorization.
• Abstract（参考訳）: テキスト音声(TTS)ファンデーションモデルは、高度にパーソナライズされた音声を合成するために、プライベートデータセットに微調整されることが増えている。 既存のブラックボックスメンバシップ推論アタック(MIA)は、クエリ生成と表現エンジニアリングの2段階のパイプラインに従っており、いずれもTSに適合する場合に固有の課題に直面している。 クエリ生成において、合成テキストと参照音声の二重条件付けは、有効なクエリを特定するための確立された基準のない、大規模で未探索なクエリ設計空間を生成する。 表現工学では、音声の多段階的特徴と時間的変動が低レベル表現と直接比較に不適である。 これらの課題に対処するために、話者レベルと記録レベルの両方でTSモデルに明示的に適合した最初のブラックボックスMIAフレームワークを提案する。 クエリ生成に際し,検索可能なクエリ空間を特徴付け,評価可能な範囲とメモリ化の2つの基準を確立する。 表現工学では,埋め込みモデルから多段階の音声表現を取得し,生成した音声と対象音声を時間的に調整し,詳細な比較を行う。 最新のTTSモデル(CosyVoice2、F5-TTS、XTTS-v2)の2つのベンチマークデータセット(VCTK、British Dialect)で微調整された評価では、深刻なプライバシー漏洩が明らかになった。 さらに,暗記に対する不均質な脆弱性に関連する音声の特徴を同定する。

関連論文リスト

• Targeted Speaker Poisoning Framework in Zero-Shot Text-to-Speech [42.343691065979215]
  Zero-shot Text-to-Speech (TTS)音声クローンは、深刻なプライバシーリスクを引き起こす。 我々はこのタスクを音声生成話者中毒(SGSP)として定式化する。 我々は、訓練されたモデルを変更して、他の話者の実用性を維持しながら、特定のアイデンティティの生成を防止する。
  論文  参考訳（メタデータ） (2026-03-08T09:29:55Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM [42.93855899824886]
  新たな2分岐ArchiTecture(GOAT-TTS)を用いた音声合成手法を提案する。 GOAT-TTSは音声エンコーダとプロジェクタを組み合わせて連続的な音響埋め込みをキャプチャし、パラ言語的特徴(言語、音色、感情)と意味的テキスト表現の双方向の相関を可能にする。 実験の結果,GOAT-TTSは最先端のTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-15T01:44:56Z)
• Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
  本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。 実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
  論文  参考訳（メタデータ） (2023-10-02T12:02:07Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios [143.47967241972995]
  高品質音声合成のためのゼロショット適応型TSシステムであるAdaSpeech 4を開発した。 話者特性を体系的にモデル化し、新しい話者の一般化を改善する。 微調整なしでは、AdaSpeech 4は複数のデータセットのベースラインよりも声質と類似性が向上する。
  論文  参考訳（メタデータ） (2022-04-01T13:47:44Z)
• GC-TTS: Few-shot Speaker Adaptation with Geometric Constraints [36.07346889498981]
  話者類似性を大幅に向上した高品質な話者適応を実現するGC-TTSを提案する。 TTSモデルは、十分な量のデータを持つベーススピーカーに対して事前訓練され、それから2つの幾何学的制約を持つ数分のデータに基づいて、新しいスピーカーのために微調整される。 実験結果から,GC-TTSは学習データの数分で高品質な音声を生成できることがわかった。
  論文  参考訳（メタデータ） (2021-08-16T04:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。