論文の概要: Audio Jailbreak Attacks: Exposing Vulnerabilities in SpeechGPT in a White-Box Framework

• arxiv url: http://arxiv.org/abs/2505.18864v1
• Date: Sat, 24 May 2025 20:46:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.706295
• Title: Audio Jailbreak Attacks: Exposing Vulnerabilities in SpeechGPT in a White-Box Framework
• Title（参考訳）: 音声による脱獄攻撃:White-BoxフレームワークにおけるSpeechGPTにおける脆弱性の露呈
• Authors: Binhao Ma, Hanqing Guo, Zhengping Jay Luo, Rui Duan,
• Abstract要約: 白箱シナリオにおけるMLLM(Multimodal Large Language Models)の音声入力を対象とする逆攻撃を提案する。 本稿では,新たなトークンレベルアタックを導入し,モデルの音声トークン化へのアクセスを活用して,逆トークン列を生成する。 当社のアプローチでは,複数の制限されたタスクに対して,最大99%の攻撃成功率を実現しています。
• 参考スコア（独自算出の注目度）: 6.002582335323663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Multimodal Large Language Models (MLLMs) have significantly enhanced the naturalness and flexibility of human computer interaction by enabling seamless understanding across text, vision, and audio modalities. Among these, voice enabled models such as SpeechGPT have demonstrated considerable improvements in usability, offering expressive, and emotionally responsive interactions that foster deeper connections in real world communication scenarios. However, the use of voice introduces new security risks, as attackers can exploit the unique characteristics of spoken language, such as timing, pronunciation variability, and speech to text translation, to craft inputs that bypass defenses in ways not seen in text-based systems. Despite substantial research on text based jailbreaks, the voice modality remains largely underexplored in terms of both attack strategies and defense mechanisms. In this work, we present an adversarial attack targeting the speech input of aligned MLLMs in a white box scenario. Specifically, we introduce a novel token level attack that leverages access to the model's speech tokenization to generate adversarial token sequences. These sequences are then synthesized into audio prompts, which effectively bypass alignment safeguards and to induce prohibited outputs. Evaluated on SpeechGPT, our approach achieves up to 89 percent attack success rate across multiple restricted tasks, significantly outperforming existing voice based jailbreak methods. Our findings shed light on the vulnerabilities of voice-enabled multimodal systems and to help guide the development of more robust next-generation MLLMs.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は、テキスト、ビジョン、オーディオモダリティ間のシームレスな理解を可能にすることによって、人間のコンピュータインタラクションの自然性と柔軟性を著しく向上させてきた。 これらのうち、SpeechGPTのような音声対応モデルでは、ユーザビリティが大幅に向上し、実世界のコミュニケーションシナリオにおける深いつながりを育む、表現的で、感情的に反応する相互作用が提供されている。 しかし、音声の使用には新たなセキュリティリスクが伴う。攻撃者は、タイミング、発音の可変性、音声からテキストへの翻訳など、音声言語の独特の特徴を利用して、テキストベースのシステムでは見られない方法で防御をバイパスする入力を作成することができる。 テキストベースのジェイルブレイクに関するかなりの研究にもかかわらず、音声のモダリティは攻撃戦略と防御機構の両方の観点から明らかにされていない。 本研究では,ホワイトボックスシナリオにおける協調MLLMの音声入力を対象とする対向攻撃について述べる。 具体的には、モデルの音声トークン化へのアクセスを利用して、逆トークン列を生成する新しいトークンレベルアタックを導入する。 これらのシーケンスはオーディオプロンプトに合成され、アライメントセーフガードを効果的にバイパスし、禁止出力を誘導する。 SpeechGPTを用いて評価した結果,複数の制限されたタスクに対して最大99%の攻撃成功率を達成し,既存の音声ベースのジェイルブレイク法を著しく上回る結果となった。 本研究は,音声対応マルチモーダルシステムの脆弱性に光を当て,より堅牢な次世代MLLMの開発を支援することを目的としている。

関連論文リスト

• Multilingual and Multi-Accent Jailbreaking of Audio LLMs [19.5428160851918]
  Multi-AudioJailは、マルチリンガルおよびマルチアクセントオーディオジェイルブレイクを利用する最初の体系的なフレームワークである。 音の摂動が言語間音声学とどのように相互作用し、ジェイルブレイクの成功率を急上昇させるかを示す。 クロスモーダル・ディフェンスの研究を促進するためにデータセットをリリースする予定です。
  論文  参考訳（メタデータ） (2025-04-01T18:12:23Z)
• Exploiting Vulnerabilities in Speech Translation Systems through Targeted Adversarial Attacks [59.87470192277124]
  本稿では,非知覚的音声操作による音声翻訳システム構築手法について検討する。 本研究では,(1)ソース音声への摂動注入,(2)ターゲット翻訳を誘導する対向音楽の生成という2つの革新的なアプローチを提案する。 我々の実験では、注意深く作られた音声摂動は、ターゲットとなる有害な出力を生成するために翻訳モデルを誤解させる可能性があるが、敵対的な音楽はこの目標をより隠蔽的に達成する。 この研究の意味は、直ちにセキュリティ上の懸念を越えて、ニューラル音声処理システムの解釈可能性と堅牢性に光を当てることである。
  論文  参考訳（メタデータ） (2025-03-02T16:38:16Z)
• `Do as I say not as I do': A Semi-Automated Approach for Jailbreak Prompt Attack against Multimodal LLMs [33.49407213040455]
  マルチモーダル大言語モデル(LLM)に対する最初の音声ベースのジェイルブレイク攻撃を導入する。 本稿では,不許可なプロンプトを,良心的かつ物語駆動的なプロンプトによって側面に配置する,新たな戦略を提案する。 我々は、Flanking Attackは最先端のLLMを操作でき、不整合および禁止された出力を生成することを実証する。
  論文  参考訳（メタデータ） (2025-02-02T10:05:08Z)
• "I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models [0.9480364746270077]
  本稿では,Audio-Language Models(ALMs)を対象とする音声ジェイルブレイクについて検討する。 我々は、プロンプト、タスク、さらにはベースオーディオサンプルをまたいで一般化する対向的摂動を構築する。 我々は、ALMがこれらの音声相手の例をどう解釈するかを分析し、知覚不能な一対一の有毒な音声を符号化する。
  論文  参考訳（メタデータ） (2025-02-02T08:36:23Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。