論文の概要: Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models

• arxiv url: http://arxiv.org/abs/2610.39509v2
• Date: Sun, 01 Nov 2026 17:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.589404
• Title: Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
• Title（参考訳）: 大規模7言語モデルにおける敵対的脱獄攻撃と防衛の体系的評価
• Abstract要約: 大規模言語モデル (LLM) は、有害な出力を引き出すために設計された敵の入力に抵抗しなければならない。 本報告では,5つの敵対的ジェイルブレイク攻撃ファミリーの系統的評価について述べる。 モデルサイズは敵の強靭性を著しく予測しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deployed in safety-critical settings must resist adversarial inputs designed to elicit harmful outputs. We present a systematic empirical evaluation of five adversarial jailbreaking attack families---direct requests, roleplay-based jailbreaking, hypothetical framing, instruction override, and obfuscation---across seven open-weight LLMs served locally: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, and Phi-4-14B. We further evaluate four defense mechanisms---keyword blacklisting, self-reminder prompting, paraphrase-based sanitization, and perplexity-based filtering---against two high-ASR models (Mistral-7B and Llama-3.1-8B) on a 20-prompt subset. Across 250 prompts per model, obfuscation attacks had the highest mean attack success rate (ASR) of any family (61.4\%), were the highest or tied-highest family for every model, and achieved nonzero success on all seven. We find that model size does not significantly predict adversarial robustness (Spearman =-0.63, p=0.13, n=7), and that the two Llama-3 generations differ markedly (16.8\% and 40.8\% ASR). Self-reminder prompting gave the largest reduction, cutting ASR from 50\% to 10\% on Mistral-7B and from 45\% to 5\% on Llama-3.1-8B (40 percentage points on each model, against matched no-defense runs). Our code and datasets are publicly available at https://github.com/Mdniloykhan/jailbreak-eval-7llms.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、有害な出力を引き出すために設計された敵の入力に抵抗しなければならない。 Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, Phi-4-14B の7つのオープンウェイトLDMに対して, 直接要求, ロールプレイベースのジェイルブレイク, 仮想フレーミング, 命令オーバライド, 難読化の5つの敵ジェイルブレイク攻撃ファミリーの系統的評価を行った。 さらに,20プロンプトのサブセット上での2つのハイASRモデル(Mistral-7BとLlama-3.1-8B)に対して,キーワードブラックリスト,自己リマインダープロンプト,パラフレーズベースサニタイズ,パープレキシティベースフィルタリングの4つの防御機構を評価する。 モデル毎の250件を超えるプロンプトでは, 難治性攻撃は家族の平均攻撃成功率(ASR)が最も高く(61.4\%)、どのモデルでも最上位または最上位のファミリーであり, 7つのモデルでゼロではない成功を達成した。 スピアマン =-0.63, p=0.13, n=7) と 2 つのラマ-3 世代は明らかに異なる(16.8 %, 40.8 % ASR)。 ミストラル7BではASRを50倍から10倍に、ラマ-3.1-8Bでは45倍から5倍に削減した。 私たちのコードとデータセットはhttps://github.com/Mdniloykhan/jailbreak-eval-7llmsで公開されています。

関連論文リスト

• Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations [0.0]
  この論文は、逆入力シーケンスの変動に対するロバスト性の評価と改善のためのモデル、方法、アルゴリズムを開発する。 局所攻撃に対しては、V(h) = 1 - R_class(h) を証明し、ここで R_class(h) は、決定演算子 h がその決定を小さな摂動の下で保持する確率である。 非局所攻撃に対しては経験的モデルを提案する。
  論文  参考訳（メタデータ） (2026-10-01T19:57:56Z)
• AlcaTRAz - Anchored Tree-Rule Defense Against Jailbreaks [0.08699280339422538]
  大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて安全アライメントをバイパスするジェイルブレイク攻撃に対して脆弱である。 本稿では,AlcaTRAzを提案する。AlcaTRAzは,入力テキストのみで動作するルールツリーに基づく,プロンプトレベルの防御手法である。 提案手法は,33のオープンウェイトモデル,22のジェイルブレイク攻撃タイプ,および短い単ターンベニグナーのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-09-03T11:30:08Z)
• Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models [0.0]
  MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
  論文  参考訳（メタデータ） (2026-06-09T14:13:54Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Robust Prompt Optimization for Defending Language Models Against Jailbreaking Attacks [17.22989422489567]
  大規模言語モデル(LLM)は敵の攻撃や脱獄に対して脆弱である。 本稿では,LLMをジェイルブレイク攻撃から守るための最適化に基づく目標と,堅牢なシステムレベルの防御を実現するアルゴリズムを提案する。 GPT-4の攻撃成功率(ASR)は6%,Llama-2の攻撃成功率(ASR)は0%に低下した。
  論文  参考訳（メタデータ） (2024-01-30T18:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。