論文の概要: Play Guessing Game with LLM: Indirect Jailbreak Attack with Implicit Clues

• arxiv url: http://arxiv.org/abs/2402.09091v2
• Date: Fri, 16 Feb 2024 10:24:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 12:38:03.936584
• Title: Play Guessing Game with LLM: Indirect Jailbreak Attack with Implicit Clues
• Title（参考訳）: LLMを使ったゲーム「Play Guessing Game」: 間接的ジェイルブレイク攻撃
• Authors: Zhiyuan Chang, Mingyang Li, Yi Liu, Junjie Wang, Qing Wang, Yang Liu
• Abstract要約: 本稿では, LLM の防御戦略を回避し, 悪意のある応答を得る, 間接的ジェイルブレイク攻撃手法である Puzzler を提案する。 実験の結果,Puzzler はクローズドソース LLM 上で96.6% のクエリ成功率を達成した。 最先端のjailbreak検出アプローチに対してテストすると、Puzzlerはベースラインよりも検出を回避するのに効果的であることを証明している。
• 参考スコア（独自算出の注目度）: 16.97760778679782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the development of LLMs, the security threats of LLMs are getting more and more attention. Numerous jailbreak attacks have been proposed to assess the security defense of LLMs. Current jailbreak attacks primarily utilize scenario camouflage techniques. However their explicitly mention of malicious intent will be easily recognized and defended by LLMs. In this paper, we propose an indirect jailbreak attack approach, Puzzler, which can bypass the LLM's defense strategy and obtain malicious response by implicitly providing LLMs with some clues about the original malicious query. In addition, inspired by the wisdom of "When unable to attack, defend" from Sun Tzu's Art of War, we adopt a defensive stance to gather clues about the original malicious query through LLMs. Extensive experimental results show that Puzzler achieves a query success rate of 96.6% on closed-source LLMs, which is 57.9%-82.7% higher than baselines. Furthermore, when tested against the state-of-the-art jailbreak detection approaches, Puzzler proves to be more effective at evading detection compared to baselines.
• Abstract（参考訳）: LLMの開発に伴い、LLMのセキュリティ上の脅威がますます注目されている。 LLMのセキュリティ防衛を評価するために、数多くのジェイルブレイク攻撃が提案されている。 現在のジェイルブレイク攻撃は主にシナリオカモフラージュ技術を利用している。 しかし、悪質な意図について明確に言及することは、LLMによって容易に認識され、防御される。 本稿では, LLMの防御戦略を回避し, LLMに対して元の悪意のあるクエリに関するヒントを暗黙的に提供することによって悪意のある応答を得ることができる間接的ジェイルブレイク攻撃手法であるPuzzlerを提案する。 また、Sun TzuのArt of Warの「攻撃できず、防御もできない」という知恵に触発されて、LSMを通じて元の悪意あるクエリの手がかりを収集する防御的姿勢を採用した。 大規模な実験の結果、Puzzler はクローズドソース LLM で96.6% のクエリ成功率を達成しており、ベースラインよりも57.9%-82.7% 高い。 さらに、最先端のジェイルブレイク検出アプローチに対してテストすると、ベースラインよりも脱獄検出に有効であることが分かる。

関連論文リスト

• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models [21.252514293436437]
  大規模言語モデル(LLM)に対するジェイルブレイク攻撃に対する分析ベースジェイルブレイク(ABJ)を提案する。 ABJはGPT-4-turbo-0409上で94.8%の攻撃成功率(ASR)と1.06の攻撃効率(AE)を達成する。
  論文  参考訳（メタデータ） (2024-07-23T06:14:41Z)
• Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing [14.094372002702476]
  大規模言語モデル(LLM)は、広範囲の現実世界のアプリケーションで採用されつつある。 近年の研究では、LSMは故意に構築された敵のプロンプトに弱いことが示されている。 そこで本研究では,新しい防衛手法である textbfLayer-specific textbfEditing (LED) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:26:12Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• Rethinking Jailbreaking through the Lens of Representation Engineering [45.70565305714579]
  最近のジェイルブレイク手法の急増により、悪意のある入力に対するLarge Language Models(LLM)の脆弱性が明らかになった。 本研究では, 特定の行動パターンを明らかにすることで, 安全性に配慮したLCMの脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-12T00:50:04Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。