論文の概要: From Speech Tokens to Stolen Voices: Attacker-Chosen-Text Speaker Impersonation via Representation Inversion

• arxiv url: http://arxiv.org/abs/2610.34688v1
• Date: Mon, 26 Oct 2026 01:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.670514
• Title: From Speech Tokens to Stolen Voices: Attacker-Chosen-Text Speaker Impersonation via Representation Inversion
• Title（参考訳）: 音声トークンからストレン音声へ:表現反転によるアタッカー・チョーゼンテキスト話者の身振り
• Abstract要約: stiaは、被害者の声の中で攻撃者が特定したテキストで音声を生成する音声トークンインバージョンアタックである。 stia は平均 CAM++ 話者コサイン類似度 0.78 とターゲットテキスト単語誤り率 3.80% を達成する。
• 参考スコア（独自算出の注目度）: 14.362840803754132
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Speech interaction systems have gradually evolved from traditional cascaded systems that use text as intermediate information to end-to-end speech language models that directly process speech representations. In some applications, the speech frontend runs on the user's device and sends speech representations to a remote server for inference, while the original audio remains local. However, these representations may still contain speaker identity information. If an attacker obtains them, it may use this information to imitate the user's voice, threatening their voice privacy. To investigate this risk, we propose \stia, a Speech Token Inversion Attack that generates speech with attacker-specified text in a victim's voice using a single short leaked representation, without access to the original audio or its transcript. Specifically, \stia converts discrete, continuous, or mixed speech representations into conditioning sequences and trains a conditional flow-matching speech generation model using pairs of different utterances from the same speaker in public speech datasets. The model combines speaker characteristics contained in the leaked representation with the specified text to generate speech in the victim's voice. Experiments show that, with a Moshi representation leak corresponding to 3 seconds of speech, \stia achieves an average CAM++ speaker cosine similarity of 0.78 and a target-text word error rate of 3.80\%. These results show that speech frontend representations reveal reusable speaker identity information and highlight the need to consider privacy risks when designing speech frontend representation methods.
• Abstract（参考訳）: 音声対話システムは、テキストを中間情報として使用する従来のカスケードシステムから、音声表現を直接処理するエンドツーエンドの言語モデルへと、徐々に進化してきた。 一部のアプリケーションでは、音声フロントエンドはユーザのデバイス上で動作し、音声表現をリモートサーバに送信し、元の音声はローカルのままである。 しかし、これらの表現は話者識別情報を含むこともある。 攻撃者がそれを入手したら、この情報を使ってユーザの声を模倣し、彼らの声のプライバシーを脅かすかもしれない。 このリスクを調査するために,オリジナル音声や文字起こしにアクセスできることなく,単一の短い漏出表現を用いて,被害者の音声中の攻撃者が特定したテキストによる音声を生成する音声トークン・インバージョン・アタックである \stia を提案する。 具体的には、離散的、連続的、または混合的な音声表現を条件付きシーケンスに変換し、同じ話者から異なる発話のペアを用いて条件付きフローマッチング音声生成モデルを訓練する。 このモデルは、漏洩した表現に含まれる話者特性と特定テキストを組み合わせることで、被害者の声の音声を生成する。 実験により, 3秒の音声に対応するモシ表現リークにより, 平均CAM++話者コサイン類似度0.78, ターゲットテキスト単語誤り率3.80\%を達成した。 これらの結果から,音声フロントエンド表現は再利用可能な話者識別情報を明らかにし,音声フロントエンド表現を設計する際のプライバシーリスクを考慮する必要性を強調した。

関連論文リスト

• Do Speech Tokens Leak Voiceprints? Speaker Inversion Attacks Against End-to-End Speech Language Models [16.761382598324364]
  本研究は,音声認識トークンが音声プリントを漏洩するかどうかを調査し,このリスクを話者反転攻撃として定式化する。 本稿では,個別のコードブックからトークンの埋め込みを構築し,それを話者に敏感な表現に集約する訓練可能なモデルであるAudio BERTを紹介する。 出力がわずか3秒で、SpInvは攻撃者が指定した話者エンコーダ空間において0.70以上のコサイン類似性を達成する。
  論文  参考訳（メタデータ） (2026-07-18T16:21:22Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Are disentangled representations all you need to build speaker anonymization systems? [0.0]
  音声信号には、話者のアイデンティティなど、多くの機密情報が含まれている。 話者匿名化は、音源話者の身元をそのまま残しながら、音声信号を変換し、音源話者の身元を除去することを目的としている。
  論文  参考訳（メタデータ） (2022-08-22T07:51:47Z)
• VisageSynTalk: Unseen Speaker Video-to-Speech Synthesis via Speech-Visage Feature Selection [32.65865343643458]
  近年の研究では、サイレント・トーキング・フェイス・ビデオから音声を合成する際の印象的な性能が示されている。 本稿では、音声コンテンツと話者識別を、入力ビデオの視覚的特徴から分離する音声視覚選択モジュールを提案する。 提案する枠組みは、未確認被写体の無声音声映像が付与された場合でも、適切な内容を含む音声を合成する利点をもたらす。
  論文  参考訳（メタデータ） (2022-06-15T11:29:58Z)
• Self-Supervised Speech Representations Preserve Speech Characteristics while Anonymizing Voices [15.136348385992047]
  我々は、自己教師付き音声表現を用いて、複数の音声変換モデルを訓練する。 変換音声は、元の音声の1%以内に低い単語誤り率を保持する。 調音・韻律・発声・音韻に関連する音声特徴を匿名音声から抽出できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:48:01Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Speaker De-identification System using Autoencoders and Adversarial Training [58.720142291102135]
  本稿では,対人訓練とオートエンコーダに基づく話者識別システムを提案する。 実験結果から, 対向学習とオートエンコーダを組み合わせることで, 話者検証システムの誤り率が同等になることがわかった。
  論文  参考訳（メタデータ） (2020-11-09T19:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。