論文の概要: Poisoned LangChain: Jailbreak LLMs by LangChain

• arxiv url: http://arxiv.org/abs/2406.18122v1
• Date: Wed, 26 Jun 2024 07:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:18:49.904290
• Title: Poisoned LangChain: Jailbreak LLMs by LangChain
• Title（参考訳）: ラングチェイン監獄:ラングチェイン監獄
• Authors: Ziqiu Wang, Jun Liu, Shengkai Zhang, Yang Yang,
• Abstract要約: 本稿では,間接的ジェイルブレイクの概念を提案し,LangChain経由でRetrieval-Augmented Generationを実現する。 我々はこの手法を,ジェイルブレイク問題の3つの主要なカテゴリにわたる6つの大言語モデルで検証した。
• 参考スコア（独自算出の注目度）: 9.658883589561915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of natural language processing (NLP), large language models (LLMs) are becoming increasingly popular. LLMs are integrating more into everyday life, raising public concerns about their security vulnerabilities. Consequently, the security of large language models is becoming critically important. Currently, the techniques for attacking and defending against LLMs are continuously evolving. One significant method type of attack is the jailbreak attack, which designed to evade model safety mechanisms and induce the generation of inappropriate content. Existing jailbreak attacks primarily rely on crafting inducement prompts for direct jailbreaks, which are less effective against large models with robust filtering and high comprehension abilities. Given the increasing demand for real-time capabilities in large language models, real-time updates and iterations of new knowledge have become essential. Retrieval-Augmented Generation (RAG), an advanced technique to compensate for the model's lack of new knowledge, is gradually becoming mainstream. As RAG enables the model to utilize external knowledge bases, it provides a new avenue for jailbreak attacks. In this paper, we conduct the first work to propose the concept of indirect jailbreak and achieve Retrieval-Augmented Generation via LangChain. Building on this, we further design a novel method of indirect jailbreak attack, termed Poisoned-LangChain (PLC), which leverages a poisoned external knowledge base to interact with large language models, thereby causing the large models to generate malicious non-compliant dialogues.We tested this method on six different large language models across three major categories of jailbreak issues. The experiments demonstrate that PLC successfully implemented indirect jailbreak attacks under three different scenarios, achieving success rates of 88.56%, 79.04%, and 82.69% respectively.
• Abstract（参考訳）: 自然言語処理(NLP)の発展に伴い、大規模言語モデル(LLM)がますます人気が高まっている。 LLMは日々の生活にさらに統合されており、セキュリティ上の脆弱性に対する世間の懸念を高めている。 その結果,大規模言語モデルのセキュリティが重要になっている。 現在,LSMに対する攻撃・防御技術は進化を続けている。 重要な攻撃方法の1つはジェイルブレイク攻撃であり、これはモデルの安全性メカニズムを回避し、不適切なコンテンツの生成を誘導するように設計されている。 既存のジェイルブレイク攻撃は主に直接ジェイルブレイクの誘導プロンプトに頼っているが、これは堅牢なフィルタリングと高い理解能力を持つ大型モデルに対して効果が低い。 大規模言語モデルにおけるリアルタイム能力の需要が高まる中、リアルタイム更新と新しい知識の反復が不可欠になっている。 Retrieval-Augmented Generation (RAG)は、新しい知識の欠如を補う高度な技術であり、徐々に主流になりつつある。 RAGはモデルが外部の知識ベースを利用することを可能にするため、Jailbreak攻撃のための新たな手段を提供する。 本稿では,間接ジェイルブレイクの概念を初めて提案し,LangChainによる検索・拡張生成を実現する。 そこで本研究では, 有害な外的知識ベースを利用して大規模言語モデルと対話し, 有害な非準拠な対話を発生させる, 間接的ジェイルブレイク攻撃法である Poisoned-LangChain (PLC) を新たに設計する。 実験の結果、PLCは3つのシナリオで間接ジェイルブレイク攻撃を成功させ、それぞれ88.56%、79.04%、82.69%の成功率を達成した。

関連論文リスト

• SQL Injection Jailbreak: a structural disaster of large language models [71.55108680517422]
  LLMによる入力プロンプトの構築を利用して、ユーザプロンプトにジェイルブレイク情報を注入する新しいジェイルブレイク手法を提案する。 提案手法は,AdvBench の文脈でよく知られた5つのオープンソース LLM に対する攻撃成功率を約100% 達成する。
  論文  参考訳（メタデータ） (2024-11-03T13:36:34Z)
• IDEATOR: Jailbreaking Large Vision-Language Models Using Themselves [67.30731020715496]
  ブラックボックスのジェイルブレイク攻撃に対して,悪意のある画像テキストペアを自動生成する新しいジェイルブレイク手法 IDEATOR を提案する。 IDEATORはVLMを使用して、ターゲットとなるJailbreakテキストを作成し、最先端の拡散モデルによって生成されたJailbreakイメージと組み合わせる。 平均5.34クエリでMiniGPT-4をジェイルブレイクし、LLaVA、InstructBLIP、Meta's Chameleonに転送すると82%、88%、75%という高い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-29T07:15:56Z)
• Multi-round jailbreak attack on large language models [2.540971544359496]
  私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。 この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。 実験の結果,ラマ2-7Bは94%の成功率を示した。
  論文  参考訳（メタデータ） (2024-10-15T12:08:14Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
  我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。 PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。 3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-15T14:51:32Z)
• h4rm3l: A Dynamic Benchmark of Composable Jailbreak Attacks for LLM Safety Assessment [48.5611060845958]
  我々は,静的なデータセットや攻撃や被害を克服するために,構成可能なジェイルブレイク攻撃の新たなベンチマークを提案する。 我々は、h4rm3lを使用して、6つの最先端(SOTA)オープンソースおよびプロプライエタリなLLMをターゲットにした2656の新たなジェイルブレイク攻撃のデータセットを生成する。 合成攻撃のいくつかは、以前報告した攻撃よりも効果的であり、SOTAクローズド言語モデルでは、アタック成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Don't Listen To Me: Understanding and Exploring Jailbreak Prompts of Large Language Models [29.312244478583665]
  生成AIは、大きな言語モデル(LLM)へのユビキタスアクセスを可能にした 脱獄プロンプトは、セキュリティ制限を回避し、本来禁止されるように設計された有害なコンテンツを引き出す最も効果的なメカニズムの1つとして現れてきた。 LLMの専門知識に関わらず、ユーザはしばしばジェイルブレイクを成功させる。 また,脱獄即時生成のプロセスを自動化するアシスタントとしてAIを用いたシステムも開発している。
  論文  参考訳（メタデータ） (2024-03-26T02:47:42Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。