論文の概要: Rethinking Jailbreaking through the Lens of Representation Engineering

• arxiv url: http://arxiv.org/abs/2401.06824v3
• Date: Tue, 6 Aug 2024 11:46:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 19:31:50.224224
• Title: Rethinking Jailbreaking through the Lens of Representation Engineering
• Title（参考訳）: 表現工学のレンズによる脱獄の再考
• Authors: Tianlong Li, Shihan Dou, Wenhao Liu, Muling Wu, Changze Lv, Rui Zheng, Xiaoqing Zheng, Xuanjing Huang,
• Abstract要約: 最近のジェイルブレイク手法の急増により、悪意のある入力に対するLarge Language Models(LLM)の脆弱性が明らかになった。 本研究では, 特定の行動パターンを明らかにすることで, 安全性に配慮したLCMの脆弱性を明らかにする。
• 参考スコア（独自算出の注目度）: 45.70565305714579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent surge in jailbreaking methods has revealed the vulnerability of Large Language Models (LLMs) to malicious inputs. While earlier research has primarily concentrated on increasing the success rates of jailbreaking attacks, the underlying mechanism for safeguarding LLMs remains underexplored. This study investigates the vulnerability of safety-aligned LLMs by uncovering specific activity patterns within the representation space generated by LLMs. Such ``safety patterns'' can be identified with only a few pairs of contrastive queries in a simple method and function as ``keys'' (used as a metaphor for security defense capability) that can be used to open or lock Pandora's Box of LLMs. Extensive experiments demonstrate that the robustness of LLMs against jailbreaking can be lessened or augmented by attenuating or strengthening the identified safety patterns. These findings deepen our understanding of jailbreaking phenomena and call for the LLM community to address the potential misuse of open-source LLMs.
• Abstract（参考訳）: 最近のジェイルブレイク手法の急増により、悪意のある入力に対するLarge Language Models(LLM)の脆弱性が明らかになった。 初期の研究は、主に脱獄攻撃の成功率の向上に重点を置いていたが、LLMを保護するための基盤となるメカニズムは未解明のままである。 本研究では, LLMが生成する表現空間内の特定の活動パターンを明らかにすることにより, 安全性に配慮したLCMの脆弱性を明らかにする。 このような `safety Pattern'' は単純なメソッドで数組のコントラストクエリで識別することができ、Pandora の LLM の Box をオープンまたはロックするために使用可能な '`keys'' (セキュリティ防御能力のメタファーとして使用される) として機能する。 大規模実験により, 脱獄に対するLDMの堅牢性は, 識別された安全性パターンを弱め, 強化することにより低下または強化できることが示された。 これらの知見は, 脱獄現象の理解を深め, LLMコミュニティに対して, オープンソース LLM の誤用に対処するよう求めている。

関連論文リスト

• Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models [21.252514293436437]
  大規模言語モデル(LLM)に対するジェイルブレイク攻撃に対する分析ベースジェイルブレイク(ABJ)を提案する。 ABJはGPT-4-turbo-0409上で94.8%の攻撃成功率(ASR)と1.06の攻撃効率(AE)を達成する。
  論文  参考訳（メタデータ） (2024-07-23T06:14:41Z)
• How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
  大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。 ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。 中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
  論文  参考訳（メタデータ） (2024-06-09T05:04:37Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing [14.094372002702476]
  大規模言語モデル(LLM)は、広範囲の現実世界のアプリケーションで採用されつつある。 近年の研究では、LSMは故意に構築された敵のプロンプトに弱いことが示されている。 そこで本研究では,新しい防衛手法である textbfLayer-specific textbfEditing (LED) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:26:12Z)
• Subtoxic Questions: Dive Into Attitude Change of LLM's Response in Jailbreak Attempts [13.176057229119408]
  Prompt Jailbreakingの言語モデル(LLM)がますます注目を集めています。 本稿では,ジェイルブレイクのプロンプトに対して本質的により敏感な,対象とする一連の質問に焦点をあてて,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-12T08:08:44Z)
• Distract Large Language Models for Automatic Jailbreak Attack [8.364590541640482]
  大規模言語モデルの自動レッドチーム化のための新しいブラックボックスジェイルブレイクフレームワークを提案する。 我々は、Jailbreak LLMに対する反復最適化アルゴリズムを用いて、悪意のあるコンテンツの隠蔽とメモリリフレーミングを設計した。
  論文  参考訳（メタデータ） (2024-03-13T11:16:43Z)
• Gradient Cuff: Detecting Jailbreak Attacks on Large Language Models by Exploring Refusal Loss Landscapes [61.916827858666906]
  大規模言語モデル(LLM)は、ユーザがクエリを入力し、LLMが回答を生成する、顕著な生成AIツールになりつつある。 害と誤用を減らすため、人間のフィードバックからの強化学習のような高度な訓練技術を用いて、これらのLLMを人間の価値に合わせる努力がなされている。 近年の研究では、組込み安全ガードレールを転覆させようとする敵のジェイルブレイクの試みに対するLLMの脆弱性を強調している。 本稿では,脱獄を検知するGradient Cuffという手法を提案する。
  論文  参考訳（メタデータ） (2024-03-01T03:29:54Z)
• Analyzing the Inherent Response Tendency of LLMs: Real-World Instructions-Driven Jailbreak [26.741029482196534]
  大規模言語モデル(LLM)が悪意ある指示に直面すると有害な応答を発生させる現象である。 本稿では,LDMのポテンシャルを増幅することでセキュリティ機構をバイパスし,肯定応答を生成する新しい自動ジェイルブレイク手法RADIALを提案する。 提案手法は,5つのオープンソースのLLMを用いて,英語の悪意のある命令に対する攻撃性能を良好に向上すると同時に,中国語の悪意のある命令に対するクロス言語攻撃の実行において,堅牢な攻撃性能を維持する。
  論文  参考訳（メタデータ） (2023-12-07T08:29:58Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。