論文の概要: Speech Tokenizers are Vulnerable: Transferable Semantic Attack and Robust Tokenizer
- arxiv url: http://arxiv.org/abs/2611.14929v1
- Date: Wed, 11 Nov 2026 02:33:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.985048
- Title: Speech Tokenizers are Vulnerable: Transferable Semantic Attack and Robust Tokenizer
- Title(参考訳): 音声トケナイザは脆弱性がある:伝達可能なセマンティックアタックとロバスト・トケナイザ
- Abstract要約: 音声トークンーは意味レベルで脆弱である。
小さな摂動は、それらの意味的エンコーディングプロセスを妨害する可能性がある。
本稿では,セマンティックエンコーダアンサンブルに基づくトランスファー可能なセマンティックアタックT-セマンティックアタックを提案する。
- 参考スコア(独自算出の注目度): 14.532527532059879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech tokenizers serve as speech front ends, encoding input speech signals into representations for downstream models, such as automatic speech recognition (ASR) systems and large audio-language models (LALMs). In this paper, we find that speech tokenizers are fragile at the semantic level: small perturbations can disrupt their semantic encoding process and consequently cause severe degradation in downstream ASR and LALM performance. To study this vulnerability, we propose T-SemAttack, a transferable semantic attack based on a semantic encoder ensemble. By jointly drifting the representation spaces of multiple semantic encoders, T-SemAttack effectively disrupts the semantic content of speech while preserving perceptual quality, thereby inducing error features. We further analyze layer-wise representation drift and cross-model gradient alignment. Our findings show that perturbations can induce substantial shifts in deep semantic representations and that the input gradients of different surrogate encoders exhibit directional alignment. These observations suggest that shared adversarially sensitive directions in the input space may be a key factor underlying cross-model attack transferability. Building on these, we introduce ROSETok, a robust speech tokenizer that combines noisy training with robust semantic distillation to improve reconstruction fidelity and downstream SpeechLLM robustness. Extensive experiments on multiple datasets, 9 open-source and black-box ASR systems, and 4 LALMs demonstrate that T-SemAttack achieves strong transferable attack performance, while the proposed Robust Speech Tokenizer exhibits robustness under high-fidelity reconstruction and downstream tasks. Our code and demo are available at https://wxzyd123.github.io/t-semattack.
- Abstract(参考訳): 音声トークンーは、音声フロントエンドとして機能し、入力された音声信号を、自動音声認識(ASR)システムや大型オーディオ言語モデル(LALM)などの下流モデルの表現に符号化する。
本稿では,音声トークン化装置が意味レベルで脆弱であることを示す。小さな摂動によって意味的符号化プロセスが破壊され,結果として下流ASRやLALMの性能が著しく低下する可能性がある。
この脆弱性を研究するために,セマンティックエンコーダアンサンブルに基づくトランスファー可能なセマンティックアタックT-セムアタックを提案する。
複数の意味エンコーダの表現空間を共同でドリフトすることにより、T-SemAttackは知覚品質を維持しながら音声の意味内容を効果的に破壊し、エラー特徴を誘導する。
さらに,レイヤワイド表現ドリフトとクロスモデル勾配アライメントを解析する。
以上の結果から,摂動は深い意味表現のかなりの変化を誘発し,異なるサロゲートエンコーダの入力勾配が方向のアライメントを示すことが示唆された。
これらの観測から、入力空間における共用逆感度方向は、モデル間攻撃伝達の鍵となる要因である可能性が示唆された。
その上で,頑健な音声トークン化手法であるROSETokを導入し,音質訓練とロバストなセマンティック蒸留を併用することで,再構成精度と下流の音声LLMロバスト性を向上する。
複数のデータセット、9つのオープンソースおよびブラックボックスASRシステム、および4つのLALMによる大規模な実験は、T-セムアタックが強い転送可能な攻撃性能を達成することを示した。
私たちのコードとデモはhttps://wxzyd123.github.io/t-sem attackで公開されています。
関連論文リスト
- Rethinking Causal Action Tokenization with Conditional Annealing in Flow Matching [63.00892079900331]
CATokは因果的行動トークンーザであり、因果的構造化された生成過程としてトークン化を再構成する。
我々は,CATok が再現性圧縮トレードオフと推論効率の両方において,既存のトークン化手法を一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-09-28T15:52:55Z) - Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages [21.20778568616635]
デコーダを補助翻訳のセマンティックアンカーと音声の音響アンカーで強化する、軽量なアダプタ機構。
SAMA-ASRは、翻訳に基づくセマンティック埋め込みと音声埋め込みを記述し、発話レベルの意味と、トークン予測の前に音声による根拠を組み合わせる。
台湾のホッキエンとハッカは、低資源のシナイト品種を対象とする2つの30時間データセットの実験を行い、SAMA-ASRは音響的、事前のプロンプトベース、意味のみの翻訳誘導ベースラインよりも改善していることを示した。
論文 参考訳(メタデータ) (2026-08-29T12:52:03Z) - Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition [9.839293944956006]
既存の敵対的攻撃は、直接音声に敵対的ノイズを付加する。
クリーン・レファレンス・フィーチャー・ヴォコーダ・アタックは、敵の探索空間を原波形から自己教師付き学習表現へ移動させる。
実験により,Whisper-smallのみを公共代理モデルとして最適化した場合,攻撃はブラックボックスASRモデルに効果的に伝達されることが示された。
論文 参考訳(メタデータ) (2026-06-04T04:00:48Z) - Frontend Token Enhancement for Token-Based Speech Recognition [50.35062963870211]
音声信号の離散化表現は、音声認識アプリケーションにおける連続的な特徴の効率的な代替手段である。
本研究では,雑音の多い音声からクリーンな音声トークンを推定し,意味的トークンを用いてASRバックエンド上で評価するシステムを提案する。
入力/トークン領域に基づく拡張モデルとして,ウェーブ・ツー・ウェーブ・トゥ・ウェーブ・トゥ・アウトプット,連続SSL機能・ツー・ツー・ケン,ウェーブ・ツー・ツー・ケンの4種類を検討する。
論文 参考訳(メタデータ) (2026-02-04T05:02:15Z) - SLM-SS: Speech Language Model for Generative Speech Separation [47.06391017558454]
音声分離に言語モデルを適用する新しいアプローチであるSLM-SSを提案する。
我々は,SSを個別のマルチコードブックシーケンス生成とみなし,量子化音声混合物をターゲットトークンにマッピングするコーダモデルを用いた。
提案手法は, 音声の理解度を著しく向上させ, 様々な下流課題における言語的整合性を向上させる。
論文 参考訳(メタデータ) (2026-01-27T12:22:43Z) - DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion [28.204167153140506]
音声トークン化器は、離散音声大言語モデルの基盤となる。
本稿では,DSA-Tokenizerを提案する。
論文 参考訳(メタデータ) (2026-01-14T07:22:24Z) - StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs [54.229363096087866]
音声トークン化器は、意味不明な音響摂動に対して頑健ではない。
この不安定性は、脆い単一パス量子化アーキテクチャと遠い訓練信号の2つの欠陥に由来する。
コンセンサス駆動機構による安定性を実現するトークンライザであるStableTokenを紹介する。
論文 参考訳(メタデータ) (2025-09-26T11:32:51Z) - LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。
新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。
LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
論文 参考訳(メタデータ) (2025-06-20T04:15:14Z) - CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。
トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
論文 参考訳(メタデータ) (2024-07-07T15:16:19Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳(メタデータ) (2021-02-15T15:18:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。