論文の概要: Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers

• arxiv url: http://arxiv.org/abs/2508.02175v2
• Date: Tue, 05 Aug 2025 04:45:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 13:15:14.139661
• Title: Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers
• Title（参考訳）: 音に隠れた:ラテント音響パターントリガーによるLLMのアライメントにおけるバックドアの展開
• Authors: Liang Lin, Miao Yu, Kaiwen Luo, Yibo Zhang, Lilan Peng, Dexian Wang, Xuehai Tang, Yuanhe Zhang, Xikang Yang, Zhenhong Zhou, Kun Wang, Yang Liu,
• Abstract要約: HIN(Hidden in the Noise)は、微妙でオーディオ特有の機能を活用するために設計された、新しいバックドアアタックフレームワークである。 HINは、時間的ダイナミクスの変更やスペクトル調整されたノイズの戦略的注入など、生のオーディオ波形に音響的修正を適用している。 音声機能に基づくトリガに対するALLMロバスト性を評価するため、AudioSafeベンチマークを開発し、9つの異なるリスクタイプを評価する。
• 参考スコア（独自算出の注目度）: 40.4026420070893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Audio Large Language Models (ALLMs) emerge as powerful tools for speech processing, their safety implications demand urgent attention. While considerable research has explored textual and vision safety, audio's distinct characteristics present significant challenges. This paper first investigates: Is ALLM vulnerable to backdoor attacks exploiting acoustic triggers? In response to this issue, we introduce Hidden in the Noise (HIN), a novel backdoor attack framework designed to exploit subtle, audio-specific features. HIN applies acoustic modifications to raw audio waveforms, such as alterations to temporal dynamics and strategic injection of spectrally tailored noise. These changes introduce consistent patterns that an ALLM's acoustic feature encoder captures, embedding robust triggers within the audio stream. To evaluate ALLM robustness against audio-feature-based triggers, we develop the AudioSafe benchmark, assessing nine distinct risk types. Extensive experiments on AudioSafe and three established safety datasets reveal critical vulnerabilities in existing ALLMs: (I) audio features like environment noise and speech rate variations achieve over 90% average attack success rate. (II) ALLMs exhibit significant sensitivity differences across acoustic features, particularly showing minimal response to volume as a trigger, and (III) poisoned sample inclusion causes only marginal loss curve fluctuations, highlighting the attack's stealth.
• Abstract（参考訳）: 音声大言語モデル(ALLM)が音声処理の強力なツールとして出現するにつれて、その安全性が緊急の注意を喚起する。 テキストと視覚の安全性についてかなりの研究が行われてきたが、音声の特徴は大きな課題を呈している。 ALLMはアコースティックトリガを利用したバックドア攻撃に対して脆弱か? この問題に対して我々は,微妙な音声特化機能を活用したバックドアアタックフレームワークであるHidden in the Noise (HIN)を紹介した。 HINは、時間的ダイナミクスの変更やスペクトル調整されたノイズの戦略的注入など、生のオーディオ波形に音響的修正を適用している。 これらの変更は、ALLMの音響機能エンコーダがキャプチャする一貫したパターンを導入し、オーディオストリームにロバストトリガを埋め込む。 音声機能に基づくトリガに対するALLMロバスト性を評価するため、AudioSafeベンチマークを開発し、9つの異なるリスクタイプを評価する。 AudioSafeと3つの確立された安全データセットに関する大規模な実験は、既存のALLMの重大な脆弱性を明らかにしている。 (II) ALLMは音響的特徴に有意な感度差を示し、特に音量に対する反応が最小限であり、(III)有毒なサンプル包摂は限界損失曲線の変動のみを引き起こし、攻撃のステルスを浮き彫りにした。

関連論文リスト

• Attacker's Noise Can Manipulate Your Audio-based LLM in the Real World [54.68651652564436]
  本稿では,Qwen2-Audioのような音声ベース大規模言語モデル(ALLM)の現実的脆弱性について検討する。 敵はステルスなオーディオの摂動を巧みに作り、ALLMを操り、特定のターゲットの動作を示す。 ユーザがALLMsと対話するときに、相手のバックグラウンドノイズを再生することで、応答品質を著しく低下させることができることを示す。
  論文  参考訳（メタデータ） (2025-07-07T07:29:52Z)
• Reshaping Representation Space to Balance the Safety and Over-rejection in Large Audio Language Models [50.89022445197919]
  Large Audio Language Models (LALM) は、Large Language Models (LLM) の機能を拡張した。 近年の研究では、LALMは安全調整が不十分なため、有害なクエリに対して脆弱であることが明らかになっている。
  論文  参考訳（メタデータ） (2025-05-26T08:25:25Z)
• Who Can Withstand Chat-Audio Attacks? An Evaluation Benchmark for Large Audio-Language Models [60.72029578488467]
  アドリラルオーディオ攻撃は、人間と機械の相互作用における大きなオーディオ言語モデル(LALM)の利用の増加に重大な脅威をもたらす。 本稿では,4種類の音声攻撃を含むChat-Audio Attacksベンチマークを紹介する。 Gemini-1.5-Pro, GPT-4oなど, 音声対話機能を有する6つの最先端LALMの評価を行った。
  論文  参考訳（メタデータ） (2024-11-22T10:30:48Z)
• Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models [50.89022445197919]
  我々は、オープンソースのオーディオLMMが有害な音声質問に対して平均69.14%の攻撃成功率を被っていることを示す。 Gemini-1.5-Proの音声固有のジェイルブレイクは、有害なクエリベンチマークで70.67%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-31T12:11:17Z)
• Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
  大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。 これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2024-10-21T15:55:27Z)
• Revisiting Acoustic Features for Robust ASR [25.687120601256787]
  生物学的聴覚知覚に触発された音響特性を発達させる先行研究のアプローチを再考する。 本研究では、周波数マスキングと側方抑制の神経心理学的現象をシミュレートするために、周波数マスキング分光法(FreqMask)とガンマトン分光法(DoGSpec)の相違という2つの新しい音響特性を提案する。
  論文  参考訳（メタデータ） (2024-09-24T18:58:23Z)
• ALIF: Low-Cost Adversarial Audio Attacks on Black-Box Speech Platforms using Linguistic Features [25.28307679567351]
  ALIFは、最初のブラックボックス対応言語機能ベースのアタックパイプラインである。 本稿では,デジタルドメインと物理再生環境の両方で攻撃を開始するためのALIF-OTLおよびALIF-OTAスキームを提案する。
  論文  参考訳（メタデータ） (2024-08-03T15:30:16Z)
• Let the Noise Speak: Harnessing Noise for a Unified Defense Against Adversarial and Backdoor Attacks [31.291700348439175]
  機械学習に対する悪意のあるデータ操作攻撃は、安全クリティカルなアプリケーションにおける信頼性を損なう。 再建型侵入検知システムであるNoiSecを提案する。 NoiSecは、テスト入力からノイズを取り除き、ノイズから基礎となる特徴を抽出し、それらを活用して、システマティックな悪意のある操作を認識する。
  論文  参考訳（メタデータ） (2024-06-18T21:44:51Z)
• Advancing Test-Time Adaptation in Wild Acoustic Test Settings [26.05732574338255]
  音声信号は短期的な一貫性に従い、特別な適応戦略を必要とする。 本研究では,ASR微調整音響基礎モデルに適した新しい音響TTA法を提案する。 本手法は,様々な音環境下での既存のベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-10-14T06:22:08Z)
• AS2T: Arbitrary Source-To-Target Adversarial Attack on Speaker Recognition Systems [15.013763364096638]
  近年の研究では、敵対的攻撃に対する話者認識システム(SRS)の脆弱性が照らされている。 すべての設定をカバーするこのドメインの最初の攻撃であるAS2Tを紹介します。 本研究は, 無線通信において発生した可能性のある歪みについて検討し, 異なるパラメータの異なる変換関数を用いて, その歪みをモデル化し, 逆声の発生に組み込む。
  論文  参考訳（メタデータ） (2022-06-07T14:38:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。