論文の概要: RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent

• arxiv url: http://arxiv.org/abs/2407.16667v1
• Date: Tue, 23 Jul 2024 17:34:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 16:16:18.597088
• Title: RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent
• Title（参考訳）: RedAgent: コンテキスト対応の自律型言語エージェントで大規模言語モデルと組む
• Authors: Huiyu Xu, Wenhui Zhang, Zhibo Wang, Feng Xiao, Rui Zheng, Yunhe Feng, Zhongjie Ba, Kui Ren,
• Abstract要約: 我々は,コンテキスト認識型ジェイルブレイクプロンプトを生成するためのマルチエージェントLLMシステムRedAgentを提案する。 我々のシステムは、ほとんどのブラックボックスLSMをたった5つのクエリでジェイルブレイクすることができ、既存のレッドチーム方式の効率を2倍に向上させることができる。 すべての問題を報告し、バグ修正のためにOpenAIとMetaと通信しました。
• 参考スコア（独自算出の注目度）: 24.487441771427434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, advanced Large Language Models (LLMs) such as GPT-4 have been integrated into many real-world applications like Code Copilot. These applications have significantly expanded the attack surface of LLMs, exposing them to a variety of threats. Among them, jailbreak attacks that induce toxic responses through jailbreak prompts have raised critical safety concerns. To identify these threats, a growing number of red teaming approaches simulate potential adversarial scenarios by crafting jailbreak prompts to test the target LLM. However, existing red teaming methods do not consider the unique vulnerabilities of LLM in different scenarios, making it difficult to adjust the jailbreak prompts to find context-specific vulnerabilities. Meanwhile, these methods are limited to refining jailbreak templates using a few mutation operations, lacking the automation and scalability to adapt to different scenarios. To enable context-aware and efficient red teaming, we abstract and model existing attacks into a coherent concept called "jailbreak strategy" and propose a multi-agent LLM system named RedAgent that leverages these strategies to generate context-aware jailbreak prompts. By self-reflecting on contextual feedback in an additional memory buffer, RedAgent continuously learns how to leverage these strategies to achieve effective jailbreaks in specific contexts. Extensive experiments demonstrate that our system can jailbreak most black-box LLMs in just five queries, improving the efficiency of existing red teaming methods by two times. Additionally, RedAgent can jailbreak customized LLM applications more efficiently. By generating context-aware jailbreak prompts towards applications on GPTs, we discover 60 severe vulnerabilities of these real-world applications with only two queries per vulnerability. We have reported all found issues and communicated with OpenAI and Meta for bug fixes.
• Abstract（参考訳）: 近年、GPT-4のような高度なLarge Language Models (LLM) が、Code Copilotのような多くの現実世界のアプリケーションに統合されている。 これらのアプリケーションはLSMの攻撃面を大きく拡張し、様々な脅威にさらされている。 中でも、脱獄プロンプトを通じて有害な反応を引き起こす脱獄攻撃は、重大な安全上の懸念を引き起こしている。 これらの脅威を特定するために、多くのレッド・チーム・アプローチは、ターゲットのLSMをテストするためのジェイルブレイクプロンプトを作成することで、潜在的な敵シナリオをシミュレートする。 しかし、既存のレッドチーム方式では、異なるシナリオでLLMのユニークな脆弱性を考慮せず、コンテキスト固有の脆弱性を見つけるためのジェイルブレイクプロンプトを調整するのが困難である。 一方、これらのメソッドは、いくつかの変更操作を使用してJailbreakテンプレートを書き換えることに制限されており、異なるシナリオに適応するための自動化とスケーラビリティが欠如している。 ユルブレイク戦略」と呼ばれるコヒーレントな概念に既存の攻撃を抽象化し、モデル化し、これらの戦略を利用して文脈対応のジェイルブレイクプロンプトを生成するRedAgentというマルチエージェントLLMシステムを提案する。 追加のメモリバッファでコンテキストフィードバックを自己参照することで、RedAgentは、これらの戦略を活用して、特定のコンテキストで効果的なジェイルブレイクを実現する方法を継続的に学習する。 大規模な実験により,我々のシステムは5つのクエリでほとんどのブラックボックスLEMをジェイルブレークし,既存のレッドチーム方式の効率を2倍に向上させることができた。 さらにRedAgentは、JailbreakでLLMアプリケーションをより効率的にカスタマイズできる。 GPT上のアプリケーションに対してコンテキスト対応のjailbreakプロンプトを生成することで、脆弱性1つ当たり2クエリしか持たない実世界のアプリケーションに対して、60の深刻な脆弱性を発見します。 すべての問題を報告し、バグ修正のためにOpenAIとMetaと通信しました。

関連論文リスト

• Virtual Context: Enhancing Jailbreak Attacks with Special Token Injection [54.05862550647966]
  本稿では、以前LLMセキュリティで見過ごされていた特別なトークンを活用して、ジェイルブレイク攻撃を改善する仮想コンテキストを提案する。 総合的な評価によると、仮想コンテキストによるジェイルブレイク攻撃は、4つの広く使われているジェイルブレイク手法の成功率を約40%向上させることができる。
  論文  参考訳（メタデータ） (2024-06-28T11:35:54Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
  論文  参考訳（メタデータ） (2024-03-18T18:39:53Z)
• Tastle: Distract Large Language Models for Automatic Jailbreak Attack [9.137714258654842]
  大規模言語モデル(LLM)の自動レッドチーム化のためのブラックボックスジェイルブレイクフレームワークを提案する。 我々のフレームワークは、有効性、スケーラビリティ、転送性において優れている。 また,攻撃に対する既存のジェイルブレイク防御手法の有効性についても検討した。
  論文  参考訳（メタデータ） (2024-03-13T11:16:43Z)
• Analyzing the Inherent Response Tendency of LLMs: Real-World Instructions-Driven Jailbreak [26.741029482196534]
  大規模言語モデル(LLM)が悪意ある指示に直面すると有害な応答を発生させる現象である。 本稿では,LDMのポテンシャルを増幅することでセキュリティ機構をバイパスし,肯定応答を生成する新しい自動ジェイルブレイク手法RADIALを提案する。 提案手法は,5つのオープンソースのLLMを用いて,英語の悪意のある命令に対する攻撃性能を良好に向上すると同時に,中国語の悪意のある命令に対するクロス言語攻撃の実行において,堅牢な攻撃性能を維持する。
  論文  参考訳（メタデータ） (2023-12-07T08:29:58Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models [55.748851471119906]
  LLM(Large Language Models)の安全性の整合性は、手動のジェイルブレイク攻撃や(自動)敵攻撃によって損なわれる可能性がある。 最近の研究は、これらの攻撃に対する防御が可能であることを示唆している。敵攻撃は無限だが読めないジベリッシュプロンプトを生成し、難易度に基づくフィルタによって検出できる。 両攻撃の強度をマージする,解釈可能な勾配に基づく対向攻撃であるAutoDANを導入する。
  論文  参考訳（メタデータ） (2023-10-23T17:46:07Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)
• FuzzLLM: A Novel and Universal Fuzzing Framework for Proactively Discovering Jailbreak Vulnerabilities in Large Language Models [11.517609196300217]
  FuzzLLMは,大規模言語モデル(LLM)におけるジェイルブレイク脆弱性を積極的にテストし,発見するために設計された,自動ファジリングフレームワークである。 テンプレートを使用してプロンプトの構造的整合性をキャプチャし、制約としてJailbreakクラスの重要な特徴を分離します。 異なるベースクラスを強力なコンボ攻撃に統合し、制約や禁止された質問の要素を変更することで、FazLLMは手作業の少ない効率的なテストを可能にする。
  論文  参考訳（メタデータ） (2023-09-11T07:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。