論文の概要: Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models

• arxiv url: http://arxiv.org/abs/2610.39509v1
• Date: Thu, 29 Oct 2026 07:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:39:44.917201
• Title: Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
• Title（参考訳）: 大規模7言語モデルにおける敵対的脱獄攻撃と防衛の体系的評価
• Abstract要約: 大規模言語モデル (LLM) は、有害な出力を引き出すために設計された敵の入力に抵抗しなければならない。 オープンウェイトおよびAPIアクセス可能な7つのLDMを対象とした,5つの敵ジェイルブレイク攻撃ファミリーの系統的評価を行った。 モデルサイズは、敵の堅牢性を予測せず、同じアーキテクチャファミリー内のモデルが、劇的に異なる脆弱性プロファイルを示すことに気付きました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deployed in safety-critical settings must resist adversarial inputs designed to elicit harmful outputs. We present a systematic empirical evaluation of five adversarial jailbreaking attack families---direct requests, roleplay-based jailbreaking, hypothetical framing, instruction override, and obfuscation---across seven open-weight and API-accessible LLMs: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, and Phi-4-14B. We further evaluate four defense mechanisms: keyword blacklisting, self-reminder prompting, paraphrase-based sanitization, and perplexity-based filtering against the two most vulnerable models. Our results reveal that obfuscation attacks achieve a mean attack success rate (ASR) of 54.3% across all models and constitute the most transferable adversarial vector, bypassing every evaluated model with nonzero success. We find that model size does not predict adversarial robustness (Spearman r=-0.57, p=0.18), and that models within the same architecture family exhibit dramatically different vulnerability profiles. Self-reminder prompting achieves the most consistent defense, reducing ASR from 44% to 10% on Mistral-7B and from 48% to 5% on Llama-3.1-8B with zero false positives and no additional inference cost. Our code and datasets are publicly available at https://github.com/Mdniloykhan/jailbreak-eval-7llms.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、有害な出力を引き出すために設計された敵の入力に抵抗しなければならない。 Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, Phi-4-14Bの7つのオープンウェイトおよびAPIアクセシブルLCMに対して, 直接要求, ロールプレイベースのジェイルブレイク, 仮想フレーミング, 命令オーバライド, 難読化の5つの敵ジェイルブレイク攻撃ファミリーの系統的評価を行った。 さらに,キーワードブラックリスト,自己リマインダープロンプト,パラフレーズベースの衛生化,および最も脆弱な2つのモデルに対するパープレキシティベースのフィルタリングの4つの防御機構を評価した。 その結果, 難読化攻撃は全モデルで54.3%の平均攻撃成功率(ASR)を達成し, 非ゼロ成功モデルをすべて回避し, 最も伝達可能な逆ベクトルとなった。 スピアマン r=-0.57, p=0.18) では, モデルサイズが逆の頑健さを予測できないこと, 同一アーキテクチャ群内のモデルが異なる脆弱性プロファイルを示すことが確認された。 ASRはMistral-7Bでは44%から10%、Llama-3.1-8Bでは48%から5%に減少し、偽陽性はゼロ、追加の推論コストは不要である。 私たちのコードとデータセットはhttps://github.com/Mdniloykhan/jailbreak-eval-7llmsで公開されています。

関連論文リスト

• Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations [0.0]
  この論文は、逆入力シーケンスの変動に対するロバスト性の評価と改善のためのモデル、方法、アルゴリズムを開発する。 局所攻撃に対しては、V(h) = 1 - R_class(h) を証明し、ここで R_class(h) は、決定演算子 h がその決定を小さな摂動の下で保持する確率である。 非局所攻撃に対しては経験的モデルを提案する。
  論文  参考訳（メタデータ） (2026-10-01T19:57:56Z)
• AlcaTRAz - Anchored Tree-Rule Defense Against Jailbreaks [0.08699280339422538]
  大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて安全アライメントをバイパスするジェイルブレイク攻撃に対して脆弱である。 本稿では,AlcaTRAzを提案する。AlcaTRAzは,入力テキストのみで動作するルールツリーに基づく,プロンプトレベルの防御手法である。 提案手法は,33のオープンウェイトモデル,22のジェイルブレイク攻撃タイプ,および短い単ターンベニグナーのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-09-03T11:30:08Z)
• Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models [0.0]
  MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
  論文  参考訳（メタデータ） (2026-06-09T14:13:54Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Robust Prompt Optimization for Defending Language Models Against Jailbreaking Attacks [17.22989422489567]
  大規模言語モデル(LLM)は敵の攻撃や脱獄に対して脆弱である。 本稿では,LLMをジェイルブレイク攻撃から守るための最適化に基づく目標と,堅牢なシステムレベルの防御を実現するアルゴリズムを提案する。 GPT-4の攻撃成功率(ASR)は6%,Llama-2の攻撃成功率(ASR)は0%に低下した。
  論文  参考訳（メタデータ） (2024-01-30T18:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。