論文の概要: Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models

• arxiv url: http://arxiv.org/abs/2610.39509v4
• Date: Thu, 05 Nov 2026 13:42:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.374177
• Title: Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
• Title（参考訳）: 大規模7言語モデルにおける敵対的脱獄攻撃と防衛の体系的評価
• Abstract要約: 大規模言語モデル (LLM) は、有害な出力を引き出すために設計された敵の入力に抵抗しなければならない。 本研究では,5つの敵対的ジェイルブレイク攻撃家族の直接要求,ロールプレイに基づくジェイルブレイク,仮説フレーミング,命令オーバーライドの系統的評価を行った。 モデルサイズは敵の強靭性を著しく予測しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deployed in safety-critical settings must resist adversarial inputs designed to elicit harmful outputs. We present a systematic empirical evaluation of five adversarial jailbreaking attack families-direct requests, roleplay-based jailbreaking, hypothetical framing, instruction override, and obfuscation-across seven open-weight LLMs served locally: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, and Phi-4-14B. We further evaluate four defense mechanisms-keyword blacklisting, self-reminder prompting, paraphrase-based sanitization, and perplexity-based filtering-against two high-ASR models (Mistral-7B and Llama-3.1-8B) on a 20-prompt subset. Across 250 prompts per model, a content judge counted obfuscation attacks as harmful (HARMFUL or PARTIAL responses) at a pooled rate of 62.3%, the highest of any family, although only 7.1% of responses were rated HARMFUL. Hypothetical framing was the highest family for three of seven models. Obfuscation succeeded at nonzero rates on all seven. The content judge has not yet been validated against human labels. We find that model size does not significantly predict adversarial robustness (Spearman Rho =-0.64, p=0.12, n=7). A rule-based judge suggested a large gap between the two Llama-3 generations (16.8% and 40.8%); the content judge does not (17.2% and 18.4%). Self-reminder prompting gave the largest reduction, cutting ASR from 50% to 10% on Mistral-7B and from 45% to 5% on Llama-3.1-8B (40 percentage points on each model, against matched no-defense runs, scored with the rule-based judge). Our code and datasets are publicly available at https://github.com/Mdniloykhan/jailbreak-eval-7llms.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、有害な出力を引き出すために設計された敵の入力に抵抗しなければならない。 Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, Phi-4-14B の5つの対向的ジェイルブレイク攻撃家族要求, ロールプレイベースのジェイルブレイク, 仮説的フレーミング, 命令オーバーライド, 難読化を含む7つのオープンウェイト LLM の体系的評価を行った。 さらに,20-promptサブセットの2つの高ASRモデル(Mistral-7BとLlama-3.1-8B)に対して,キーワードブラックリスト,自己リマインダプロンプト,パラフレーズベースサニタイズ,およびパープレキシティベースフィルタリングの4つの防衛機構の評価を行った。 250人を超えるコンテンツ審査員は、1モデル当たりの難読化攻撃を62.3%のプールレートで有害(HARMFULまたはPartial response)とみなしたが、反応のわずか7.1%がHARMFULと評価された。 仮説フレーミングは7つのモデルのうち3つのモデルの中で最高のファミリーであった。 難易度は7点中0点まで上昇した。 コンテンツ審査員は、人間のラベルに対してまだ検証されていない。 スピアマンRho =-0.64, p=0.12, n=7)。 ルールに基づく審査員は、2つのLlama-3世代(16.8%と40.8%)の間に大きなギャップがあることを示唆し、コンテンツ審査員は17.2%と18.4%の差を示さなかった。 ミストラル7BではASRを50%から10%に、ラマ-3.1-8Bでは45%から5%に減らした(各モデルでは40ポイントが、ルールベースの審査員が得点した)。 私たちのコードとデータセットはhttps://github.com/Mdniloykhan/jailbreak-eval-7llmsで公開されています。

関連論文リスト

• Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations [0.0]
  この論文は、逆入力シーケンスの変動に対するロバスト性の評価と改善のためのモデル、方法、アルゴリズムを開発する。 局所攻撃に対しては、V(h) = 1 - R_class(h) を証明し、ここで R_class(h) は、決定演算子 h がその決定を小さな摂動の下で保持する確率である。 非局所攻撃に対しては経験的モデルを提案する。
  論文  参考訳（メタデータ） (2026-10-01T19:57:56Z)
• AlcaTRAz - Anchored Tree-Rule Defense Against Jailbreaks [0.08699280339422538]
  大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて安全アライメントをバイパスするジェイルブレイク攻撃に対して脆弱である。 本稿では,AlcaTRAzを提案する。AlcaTRAzは,入力テキストのみで動作するルールツリーに基づく,プロンプトレベルの防御手法である。 提案手法は,33のオープンウェイトモデル,22のジェイルブレイク攻撃タイプ,および短い単ターンベニグナーのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-09-03T11:30:08Z)
• Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models [0.0]
  MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
  論文  参考訳（メタデータ） (2026-06-09T14:13:54Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Robust Prompt Optimization for Defending Language Models Against Jailbreaking Attacks [17.22989422489567]
  大規模言語モデル(LLM)は敵の攻撃や脱獄に対して脆弱である。 本稿では,LLMをジェイルブレイク攻撃から守るための最適化に基づく目標と,堅牢なシステムレベルの防御を実現するアルゴリズムを提案する。 GPT-4の攻撃成功率(ASR)は6%,Llama-2の攻撃成功率(ASR)は0%に低下した。
  論文  参考訳（メタデータ） (2024-01-30T18:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。