論文の概要: Attacker's Noise Can Manipulate Your Audio-based LLM in the Real World

• arxiv url: http://arxiv.org/abs/2507.06256v1
• Date: Mon, 07 Jul 2025 07:29:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.320937
• Title: Attacker's Noise Can Manipulate Your Audio-based LLM in the Real World
• Title（参考訳）: LLMをリアル世界で操作できるアタッカーのノイズ(動画あり)
• Authors: Vinu Sankar Sadasivan, Soheil Feizi, Rajiv Mathews, Lun Wang,
• Abstract要約: 本稿では,Qwen2-Audioのような音声ベース大規模言語モデル(ALLM)の現実的脆弱性について検討する。 敵はステルスなオーディオの摂動を巧みに作り、ALLMを操り、特定のターゲットの動作を示す。 ユーザがALLMsと対話するときに、相手のバックグラウンドノイズを再生することで、応答品質を著しく低下させることができることを示す。
• 参考スコア（独自算出の注目度）: 54.68651652564436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the real-world vulnerabilities of audio-based large language models (ALLMs), such as Qwen2-Audio. We first demonstrate that an adversary can craft stealthy audio perturbations to manipulate ALLMs into exhibiting specific targeted behaviors, such as eliciting responses to wake-keywords (e.g., "Hey Qwen"), or triggering harmful behaviors (e.g. "Change my calendar event"). Subsequently, we show that playing adversarial background noise during user interaction with the ALLMs can significantly degrade the response quality. Crucially, our research illustrates the scalability of these attacks to real-world scenarios, impacting other innocent users when these adversarial noises are played through the air. Further, we discuss the transferrability of the attack, and potential defensive measures.
• Abstract（参考訳）: 本稿では,Qwen2-Audioのような音声ベース大規模言語モデル(ALLM)の現実的脆弱性について検討する。 まず、敵がステルスな音声摂動を巧みに操り、ウェイクキーワードへの応答(例:「Hey Qwen」)や有害な動作(例:「Change my calendar event」)を誘発するなど、特定の標的行動を示すことを実証する。 その後、ユーザがALLMsと対話するときに、相手のバックグラウンドノイズを再生することで、応答品質を著しく低下させることができることを示す。 重要なことは、我々の研究はこれらの攻撃が現実世界のシナリオに拡張可能であることを示しており、これらの敵対的ノイズが空気中を流れると、他の無実のユーザーに影響を与える。 さらに,攻撃の伝達可能性,潜在的な防御対策についても検討する。

関連論文リスト

• Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs [6.8285467057172555]
  音声のLLMに対するユニバーサルアコースティック・アタックについて検討する。 Qwen2-AudioとGranite-Speechには重大な脆弱性がある。 これは、より堅牢なトレーニング戦略の必要性を強調し、敵の攻撃に対する抵抗を改善している。
  論文  参考訳（メタデータ） (2025-05-20T12:35:59Z)
• Who Can Withstand Chat-Audio Attacks? An Evaluation Benchmark for Large Audio-Language Models [60.72029578488467]
  アドリラルオーディオ攻撃は、人間と機械の相互作用における大きなオーディオ言語モデル(LALM)の利用の増加に重大な脅威をもたらす。 本稿では,4種類の音声攻撃を含むChat-Audio Attacksベンチマークを紹介する。 Gemini-1.5-Pro, GPT-4oなど, 音声対話機能を有する6つの最先端LALMの評価を行った。
  論文  参考訳（メタデータ） (2024-11-22T10:30:48Z)
• Can DeepFake Speech be Reliably Detected? [17.10792531439146]
  この研究は、最先端のオープンソース音声検出装置に対する能動的悪意のある攻撃に関する最初の体系的研究である。 その結果、敵の脅威が進行する中で、より堅牢な検出方法が緊急に必要であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-09T06:13:48Z)
• Towards Evaluating the Robustness of Automatic Speech Recognition Systems via Audio Style Transfer [8.948537516293328]
  本稿では,ユーザ認識スタイルの転送に基づく自動音声認識(ASR)システムに対する攻撃を提案する。 提案手法は,ユーザカスタマイズスタイルの必要性を満たすとともに,攻撃の82%の成功率を達成することができる。
  論文  参考訳（メタデータ） (2024-05-15T16:05:24Z)
• Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection [88.74863771919445]
  我々は、音声のみ、視覚のみ、および音声-視覚的敵対攻撃下でのAVASDモデルの脆弱性を明らかにする。 また,攻撃者が現実的な相手を見つけるのを困難にするため,新たな音声・視覚的相互作用損失(AVIL)を提案する。
  論文  参考訳（メタデータ） (2022-10-03T08:10:12Z)
• Towards Adversarially Robust Deep Image Denoising [199.2458715635285]
  本研究は,ディープ・イメージ・デノイザ(DID)の対角的ロバスト性について系統的に検討する。 本稿では,観測に基づくゼロ平均アタック(sc ObsAtk)という新たな敵攻撃を提案する。 DIDを頑健化するために,DIDと非対向雑音データとを併用したハイブリッド対向訓練(sc HAT)を提案する。
  論文  参考訳（メタデータ） (2022-01-12T10:23:14Z)
• Attack on practical speaker verification system using universal adversarial perturbations [20.38185341318529]
  本研究は,提案する対人摂動を,相手が話しているときに別個の音源として演奏することにより,現実的な話者検証システムにより,相手を対象話者と誤認することを示す。 2段階のアルゴリズムが提案され、テキストに依存しない普遍的対向摂動を最適化し、認証テキスト認識にはほとんど影響を与えない。
  論文  参考訳（メタデータ） (2021-05-19T09:43:34Z)
• Removing Adversarial Noise in Class Activation Feature Space [160.78488162713498]
  クラスアクティベーション機能空間において,自己監視型対人訓練機構を実装することにより,対人雑音の除去を提案する。 クラスアクティベーション機能空間における敵対例と自然な例の間の距離を最小にするために、デノイジングモデルを訓練する。 経験的評価により, 従来の手法と比較して, 敵対的堅牢性が有意に向上できることが示された。
  論文  参考訳（メタデータ） (2021-04-19T10:42:24Z)
• Detecting Audio Attacks on ASR Systems with Dropout Uncertainty [40.9172128924305]
  我々の防衛は、最適化された摂動と周波数マスキングによって生成された攻撃を検出することができることを示す。 我々は、MozillaのCommonVoiceデータセット、UrbanSoundデータセット、およびLibriSpeechデータセットの抜粋に対する防御をテストする。
  論文  参考訳（メタデータ） (2020-06-02T19:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。