論文の概要: SelfDefend: LLMs Can Defend Themselves against Jailbreaking in a Practical Manner

• arxiv url: http://arxiv.org/abs/2406.05498v3
• Date: Wed, 05 Feb 2025 10:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:00.524772
• Title: SelfDefend: LLMs Can Defend Themselves against Jailbreaking in a Practical Manner
• Title（参考訳）: 自衛隊:LLMは脱獄を防げる
• Authors: Xunguang Wang, Daoyuan Wu, Zhenlan Ji, Zongjie Li, Pingchuan Ma, Shuai Wang, Yingjiu Li, Yang Liu, Ning Liu, Juergen Rahmel,
• Abstract要約: 本稿では,自衛隊(SelfDefend)と呼ばれる総称LDMジェイルブレイク防御フレームワークを紹介する。 主要なjailbreak攻撃に対して,メインストリームのGPT-3.5/4モデルを使用することを実証的に検証した。 防衛の堅牢性をさらに向上し、コストを最小化するために、我々は専用のオープンソース防衛モデルをチューニングするためにデータ蒸留アプローチを採用している。
• 参考スコア（独自算出の注目度）: 21.414701448926614
• License:
• Abstract: Jailbreaking is an emerging adversarial attack that bypasses the safety alignment deployed in off-the-shelf large language models (LLMs) and has evolved into multiple categories: human-based, optimization-based, generation-based, and the recent indirect and multilingual jailbreaks. However, delivering a practical jailbreak defense is challenging because it needs to not only handle all the above jailbreak attacks but also incur negligible delays to user prompts, as well as be compatible with both open-source and closed-source LLMs. Inspired by how the traditional security concept of shadow stacks defends against memory overflow attacks, this paper introduces a generic LLM jailbreak defense framework called SelfDefend, which establishes a shadow LLM as a defense instance (in detection state) to concurrently protect the target LLM instance (in normal answering state) in the normal stack and collaborate with it for checkpoint-based access control. The effectiveness of SelfDefend builds upon our observation that existing LLMs can identify harmful prompts or intentions in user queries, which we empirically validate using mainstream GPT-3.5/4 models against major jailbreak attacks. To further improve the defense's robustness and minimize costs, we employ a data distillation approach to tune dedicated open-source defense models. When deployed to protect GPT-3.5/4, Claude, Llama-2-7b/13b, and Mistral, these models outperform seven state-of-the-art defenses and match the performance of GPT-4-based SelfDefend, with significantly lower extra delays. Further experiments show that the tuned models are robust to adaptive jailbreaks and prompt injections.
• Abstract（参考訳）: Jailbreakingは、既製の大規模言語モデル(LLM)にデプロイされる安全アライメントを回避し、ヒューマンベース、最適化ベース、世代ベース、そして最近の間接的および多言語的ジェイルブレイク(indirect and multilingual jailbreaks)という複数のカテゴリに進化した、新たな敵攻撃である。 しかし、実際のジェイルブレイク防御を提供することは、上記のジェイルブレイク攻撃を全て処理するだけでなく、ユーザのプロンプトに無視できない遅延を発生させる必要があるため、オープンソースとクローズドソースの両方のLLMと互換性を持つ必要があるため、難しい。 本稿では,従来のセキュリティ概念であるシャドウスタックがメモリオーバーフロー攻撃に対してどのように防御するかに着想を得て,通常のスタック内のターゲットLDMインスタンス(通常応答状態)を同時に保護し,チェックポイントベースのアクセス制御のために協調してシャドウLDMを防御インスタンス(検出状態)として確立する,SlfDefendという汎用的なLDMジェイルブレイク防御フレームワークを提案する。 SelfDefendの有効性は、既存のLCMがユーザクエリの有害なプロンプトや意図を識別できることに基づいており、主要なjailbreak攻撃に対してメインストリームのGPT-3.5/4モデルを使用して実証的に検証している。 防衛の堅牢性をさらに向上し、コストを最小化するために、我々は専用のオープンソース防衛モデルをチューニングするためにデータ蒸留アプローチを採用している。 GPT-3.5/4、Claude、Llama-2-7b/13b、Mistralを保護するために配備されると、これらのモデルは7つの最先端の防御性能を上回り、GPT-4ベースのSelfDefendの性能に匹敵し、余分な遅延を著しく低減した。 さらなる実験により、調整されたモデルが適応的ジェイルブレイクと迅速な注入に対して堅牢であることが示されている。

関連論文リスト

• JailPO: A Novel Black-box Jailbreak Framework via Preference Optimization against Aligned LLMs [11.924542310342282]
  我々は、LLM(Large Language Models)アライメントを調べるための新しいブラックボックスジェイルブレイクフレームワークであるJailPOを紹介する。 スケーラビリティと普遍性のために、JailPOは攻撃モデルを慎重に訓練し、隠蔽されたジェイルブレイクプロンプトを自動的に生成する。 また、優先最適化に基づく攻撃手法を導入し、ジェイルブレイクの有効性を高める。
  論文  参考訳（メタデータ） (2024-12-20T07:29:10Z)
• FlexLLM: Exploring LLM Customization for Moving Target Defense on Black-Box LLMs Against Jailbreak Attacks [7.31505609352525]
  大規模言語モデル(LLM)の防衛は、有害なコンテンツを生成するためにこれらのシステムを利用する多数の攻撃者に対抗するために不可欠である。 モデルロバスト性を高めるために、デコードハイパーパラメータを変更する移動目標防御手法を提案する。 以上の結果から,テストした3つのモデルのうち,我々の防衛は脱獄攻撃に対して最も効果的であることが示された。
  論文  参考訳（メタデータ） (2024-12-10T17:02:28Z)
• Immune: Improving Safety Against Jailbreaks in Multi-modal LLMs via Inference-Time Alignment [97.38766396447369]
  訓練時安全アライメントにもかかわらず、MLLMは脱獄攻撃に弱いままである。 我々は、安全な報酬モデルを利用してジェイルブレイク攻撃を防御する推論時防衛フレームワークImmuneを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:00:10Z)
• HSF: Defending against Jailbreak Attacks with Hidden State Filtering [14.031010511732008]
  隠れ状態フィルタ(HSF)に基づくジェイルブレイク攻撃防御戦略を提案する。 HSFは、推論プロセスが始まる前に、モデルが相手の入力をプリエンプティブに識別し、拒否することを可能にする。 不正なユーザクエリに対する応答を最小限に抑えながら、Jailbreak攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2024-08-31T06:50:07Z)
• Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
  我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。 PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。 3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-15T14:51:32Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。