論文の概要: On Optimizing Multimodal Jailbreaks for Spoken Language Models

• arxiv url: http://arxiv.org/abs/2603.19127v1
• Date: Thu, 19 Mar 2026 16:48:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.276027
• Title: On Optimizing Multimodal Jailbreaks for Spoken Language Models
• Title（参考訳）: 音声言語モデルにおけるマルチモーダルジェイルブレークの最適化について
• Authors: Aravind Krishnan, Karolina Stańczak, Dietrich Klakow,
• Abstract要約: 音声言語モデル(SLM)のための勾配に基づくマルチモーダルジェイルブレイクを導入する。 JAMAの脱獄率は1.5倍から10倍に向上した。 以上の結果より, 安定したSLMでは一過性安全性が不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 25.455943851660262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Spoken Language Models (SLMs) integrate speech and text modalities, they inherit the safety vulnerabilities of their LLM backbone and an expanded attack surface. SLMs have been previously shown to be susceptible to jailbreaking, where adversarial prompts induce harmful responses. Yet existing attacks largely remain unimodal, optimizing either text or audio in isolation. We explore gradient-based multimodal jailbreaks by introducing JAMA (Joint Audio-text Multimodal Attack), a joint multimodal optimization framework combining Greedy Coordinate Gradient (GCG) for text and Projected Gradient Descent (PGD) for audio, to simultaneously perturb both modalities. Evaluations across four state-of-the-art SLMs and four audio types demonstrate that JAMA surpasses unimodal jailbreak rate by 1.5x to 10x. We analyze the operational dynamics of this joint attack and show that a sequential approximation method makes it 4x to 6x faster. Our findings suggest that unimodal safety is insufficient for robust SLMs. The code and data are available at https://repos.lsv.uni-saarland.de/akrishnan/multimodal-jailbreak-slm
• Abstract（参考訳）: Spoken Language Models (SLM) は音声とテキストのモダリティを統合するため、LLMバックボーンの安全性上の脆弱性と攻撃面の拡張を継承する。 以前は、SLMはジェイルブレイクの影響を受けやすいことが示されており、敵は有害な反応を誘導する。 しかし、既存の攻撃は大半が単調で、テキストとオーディオを分離して最適化する。 JAMA(Joint Audio-text Multimodal Attack)は,テキストのGreedy Coordinate Gradient(GCG)と音声のProjected Gradient Descent(PGD)を組み合わせることで,両方のモダリティを同時に乱す。 4つの最先端のSLMと4つのオーディオタイプによる評価は、JAMAが不正ジェイルブレイク率を1.5倍から10倍に越えていることを示している。 我々は,この関節攻撃の動作力学を解析し,逐次近似法により4倍から6倍高速となることを示す。 以上の結果より, 安定したSLMでは一過性安全性が不十分であることが示唆された。 コードとデータはhttps://repos.lsv.uni-saarland.de/akrishnan/multimodal-jailbreak-slmで公開されている。

関連論文リスト

• JALMBench: Benchmarking Jailbreak Vulnerabilities in Audio Language Models [27.65513116994074]
  本稿では,JALMBenchを提案する。JALMBenchは,聴覚言語モデル(ALM)のジェイルブレイク攻撃に対する安全性を評価するベンチマークである。 JALMBenchには、11,316のテキストサンプルと、1,000時間以上の245,355のオーディオサンプルを含むデータセットが含まれている。 JALMBenchを用いて、攻撃効率、話題感度、音声の多様性、アーキテクチャを詳細に分析する。
  論文  参考訳（メタデータ） (2025-05-23T07:29:55Z)
• Multilingual and Multi-Accent Jailbreaking of Audio LLMs [19.5428160851918]
  Multi-AudioJailは、マルチリンガルおよびマルチアクセントオーディオジェイルブレイクを利用する最初の体系的なフレームワークである。 音の摂動が言語間音声学とどのように相互作用し、ジェイルブレイクの成功率を急上昇させるかを示す。 クロスモーダル・ディフェンスの研究を促進するためにデータセットをリリースする予定です。
  論文  参考訳（メタデータ） (2025-04-01T18:12:23Z)
• h4rm3l: A language for Composable Jailbreak Attack Synthesis [48.5611060845958]
  h4rm3lは、人間が読めるドメイン固有言語とのギャップに対処する新しいアプローチである。 我々は、h4rm3lの合成攻撃は、文献における既存のジェイルブレイク攻撃よりも多様で、より成功していることを示す。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• Jailbreaking Attack against Multimodal Large Language Model [69.52466793164618]
  本稿では,マルチモーダル大規模言語モデル(MLLM)に対するジェイルブレイク攻撃に焦点を当てた。 imgJP (emphimage Jailbreaking Prompt) の探索手法を提案する。 提案手法は, 生成したimgJPをジェイルブレイクモデルに転送できるため, 強いモデル伝達性を示す。
  論文  参考訳（メタデータ） (2024-02-04T01:29:24Z)
• Weak-to-Strong Jailbreaking on Large Language Models [92.52448762164926]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。