論文の概要: Backdoor Attacks Against Speech Language Models

• arxiv url: http://arxiv.org/abs/2510.01157v1
• Date: Wed, 01 Oct 2025 17:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.698888
• Title: Backdoor Attacks Against Speech Language Models
• Title（参考訳）: 言語モデルに対するバックドアアタック
• Authors: Alexandrine Fortier, Thomas Thebaud, Jesús Villalba, Najim Dehak, Patrick Cardinal,
• Abstract要約: 本研究は,音声認識モデルに対する音声バックドア攻撃に関する最初の体系的研究である。 4つの音声エンコーダと3つのデータセットにまたがってその効果を実証し、4つのタスクをカバーした。 汚染された事前訓練エンコーダの脅威を軽減できる微調整型防御法を提案する。
• 参考スコア（独自算出の注目度）: 63.07317091368079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) and their multimodal extensions are becoming increasingly popular. One common approach to enable multimodality is to cascade domain-specific encoders with an LLM, making the resulting model inherit vulnerabilities from all of its components. In this work, we present the first systematic study of audio backdoor attacks against speech language models. We demonstrate its effectiveness across four speech encoders and three datasets, covering four tasks: automatic speech recognition (ASR), speech emotion recognition, and gender and age prediction. The attack consistently achieves high success rates, ranging from 90.76% to 99.41%. To better understand how backdoors propagate, we conduct a component-wise analysis to identify the most vulnerable stages of the pipeline. Finally, we propose a fine-tuning-based defense that mitigates the threat of poisoned pretrained encoders.
• Abstract（参考訳）: 大規模言語モデル(LLM)とそのマルチモーダル拡張は、ますます人気が高まっている。 マルチモダリティを実現するための一般的なアプローチの1つは、LLMでドメイン固有のエンコーダをカスケードすることで、結果のモデルがすべてのコンポーネントから脆弱性を継承する。 本研究は,音声認識モデルに対する音声バックドア攻撃に関する最初の体系的研究である。 4つの音声エンコーダと3つのデータセットにまたがってその効果を実証し、自動音声認識(ASR)、音声感情認識、性別と年齢予測の4つのタスクを網羅した。 この攻撃は90.76%から99.41%という高い成功率を達成した。 バックドアがどのように伝播するかをよりよく理解するために、パイプラインの最も脆弱なステージを特定するためにコンポーネントワイズ分析を実施します。 最後に,汚染された事前訓練エンコーダの脅威を軽減できる微調整型防御法を提案する。

関連論文リスト

• Multi-level SSL Feature Gating for Audio Deepfake Detection [4.053610356853999]
  生成AIの最近の進歩、特に音声合成は、非常に自然な音声合成音声の生成を可能にしている。 これらのイノベーションは、不正行為の誤用、ID盗難、セキュリティの脅威など、重大なリスクをもたらす。 スプーフィング検出対策の現在の研究は、未確認のディープフェイク攻撃や言語への一般化によって制限されている。 本稿では,フロントエンド特徴抽出器として音声基礎XLS-Rモデルから関連する特徴を抽出するゲーティング機構を提案する。
  論文  参考訳（メタデータ） (2025-09-03T15:37:52Z)
• SPBA: Utilizing Speech Large Language Model for Backdoor Attacks on Speech Classification Models [4.67675814519416]
  音声ベースの人間とコンピュータのインタラクションは、バックドア攻撃に弱い。 本稿では,音声のバックドア攻撃が,音色や感情などの音声要素に戦略的に焦点を絞ることができることを提案する。 提案された攻撃は、SPBA(Speech Prompt Backdoor Attack)と呼ばれる。
  論文  参考訳（メタデータ） (2025-06-10T02:01:00Z)
• Audio Jailbreak Attacks: Exposing Vulnerabilities in SpeechGPT in a White-Box Framework [6.002582335323663]
  白箱シナリオにおけるMLLM(Multimodal Large Language Models)の音声入力を対象とする逆攻撃を提案する。 本稿では,新たなトークンレベルアタックを導入し,モデルの音声トークン化へのアクセスを活用して,逆トークン列を生成する。 当社のアプローチでは,複数の制限されたタスクに対して,最大99%の攻撃成功率を実現しています。
  論文  参考訳（メタデータ） (2025-05-24T20:46:36Z)
• Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs [6.8285467057172555]
  音声のLLMに対するユニバーサルアコースティック・アタックについて検討する。 Qwen2-AudioとGranite-Speechには重大な脆弱性がある。 これは、より堅牢なトレーニング戦略の必要性を強調し、敵の攻撃に対する抵抗を改善している。
  論文  参考訳（メタデータ） (2025-05-20T12:35:59Z)
• Multilingual and Multi-Accent Jailbreaking of Audio LLMs [19.5428160851918]
  Multi-AudioJailは、マルチリンガルおよびマルチアクセントオーディオジェイルブレイクを利用する最初の体系的なフレームワークである。 音の摂動が言語間音声学とどのように相互作用し、ジェイルブレイクの成功率を急上昇させるかを示す。 クロスモーダル・ディフェンスの研究を促進するためにデータセットをリリースする予定です。
  論文  参考訳（メタデータ） (2025-04-01T18:12:23Z)
• Who Can Withstand Chat-Audio Attacks? An Evaluation Benchmark for Large Audio-Language Models [60.72029578488467]
  アドリラルオーディオ攻撃は、人間と機械の相互作用における大きなオーディオ言語モデル(LALM)の利用の増加に重大な脅威をもたらす。 本稿では,4種類の音声攻撃を含むChat-Audio Attacksベンチマークを紹介する。 Gemini-1.5-Pro, GPT-4oなど, 音声対話機能を有する6つの最先端LALMの評価を行った。
  論文  参考訳（メタデータ） (2024-11-22T10:30:48Z)
• Pre-Finetuning for Few-Shot Emotional Speech Recognition [20.894029832911617]
  我々は話者適応を数発の学習問題と見なしている。 そこで本研究では,知識を数発の下流分類対象に抽出する難解な課題に対する事前学習音声モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-24T22:38:54Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。