Fugu-MT 論文翻訳(概要): AttnGCG: Enhancing Jailbreaking Attacks on LLMs with Attention Manipulation

論文の概要: AttnGCG: Enhancing Jailbreaking Attacks on LLMs with Attention Manipulation

arxiv url: http://arxiv.org/abs/2410.09040v1
Date: Fri, 11 Oct 2024 17:55:09 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 20:26:51.467857
Title: AttnGCG: Enhancing Jailbreaking Attacks on LLMs with Attention Manipulation
Title（参考訳）: AttnGCG: 注意操作によるLLMの脱獄攻撃の強化
Authors: Zijun Wang, Haoqin Tu, Jieru Mei, Bingchen Zhao, Yisen Wang, Cihang Xie,
Abstract要約: 本稿では,トランスフォーマーを用いた大規模言語モデル(LLM)のジェイルブレイク攻撃に対する脆弱性について検討する。本稿では,ジェイルブレイクを容易にするために,モデルの注意点を操作する拡張手法を提案する。我々の戦略はまた、目に見えない有害な目標とブラックボックスのLSMの両方に対して堅牢な攻撃伝達性を示す。
参考スコア（独自算出の注目度）: 42.797865918373326
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This paper studies the vulnerabilities of transformer-based Large Language Models (LLMs) to jailbreaking attacks, focusing specifically on the optimization-based Greedy Coordinate Gradient (GCG) strategy. We first observe a positive correlation between the effectiveness of attacks and the internal behaviors of the models. For instance, attacks tend to be less effective when models pay more attention to system prompts designed to ensure LLM safety alignment. Building on this discovery, we introduce an enhanced method that manipulates models' attention scores to facilitate LLM jailbreaking, which we term AttnGCG. Empirically, AttnGCG shows consistent improvements in attack efficacy across diverse LLMs, achieving an average increase of ~7% in the Llama-2 series and ~10% in the Gemma series. Our strategy also demonstrates robust attack transferability against both unseen harmful goals and black-box LLMs like GPT-3.5 and GPT-4. Moreover, we note our attention-score visualization is more interpretable, allowing us to gain better insights into how our targeted attention manipulation facilitates more effective jailbreaking. We release the code at https://github.com/UCSC-VLAA/AttnGCG-attack.
Abstract（参考訳）: 本稿では,Greedy Coordinate Gradient(GCG)戦略を中心に,トランスフォーマーに基づく大規模言語モデル(LLM)のジェイルブレイク攻撃に対する脆弱性について検討する。まず,攻撃の有効性とモデルの内部挙動との正の相関関係を考察する。例えば、LLMの安全性を確保するために設計されたシステムプロンプトにモデルがより多くの注意を払っている場合、攻撃は効果が低い傾向にある。この発見に基づいて,LLMジェイルブレイクを促進するため,モデルの注意点数を操作する拡張手法を導入し,これをAttnGCGと呼ぶ。経験的に、AttnGCGは様々なLLMに対して一貫した攻撃効率の改善を示し、Llama-2シリーズでは平均で7%、Gemmaシリーズでは平均で約10%向上した。また,GPT-3.5 や GPT-4 などのブラックボックス LLM に対する攻撃の堅牢性を示す。さらに、私たちの注目スコアの可視化はより解釈可能であり、ターゲットの注意操作がより効果的なジェイルブレイクを促進する方法について、より深い洞察を得ることができます。コードをhttps://github.com/UCSC-VLAA/AttnGCG-アタックでリリースします。

関連論文リスト

AmpleGCG-Plus: A Strong Generative Model of Adversarial Suffixes to Jailbreak LLMs with Higher Success Rates in Fewer Attempts [10.536276489213497]
生成モデルは、有害なクエリに対して、すばやく多数のカスタマイズ可能なジベリの逆接接尾辞を生成することができる。我々はAmpleGCG-Plusを導入した。我々はGPT-4と同じ速度で新しいGPT-4oシリーズをジェイルブレイクし、最近提案されたサーキットブレーカー防御に対する脆弱性を明らかにする。
論文参考訳（メタデータ） (2024-10-29T15:40:07Z)
Faster-GCG: Efficient Discrete Optimization Jailbreak Attacks against Aligned Large Language Models [16.938267820586024]
本稿では,GCGの設計を深く掘り下げて,効率の良い逆ジェイルブレイク法であるFaster-GCGを提案する。実験により、高速GCGは計算コストのたった1/10で元のGCGを超えることができることが示された。
論文参考訳（メタデータ） (2024-10-20T11:27:41Z)
Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
論文参考訳（メタデータ） (2024-10-15T06:31:04Z)
PathSeeker: Exploring LLM Security Vulnerabilities with a Reinforcement Learning-Based Jailbreak Approach [25.31933913962953]
大規模言語モデル(LLM)が広く普及し、セキュリティに対する懸念が高まっている。そこで我々は,迷路から逃れるネズミのゲームに触発された新しいブラックボックスジェイルブレイク手法PathSeekerを紹介した。提案手法は,13の商用およびオープンソース LLM を対象としたテストにおいて,最先端の攻撃技術として5つの性能を発揮した。
論文参考訳（メタデータ） (2024-09-21T15:36:26Z)
Improved Techniques for Optimization-Based Jailbreaking on Large Language Models [78.32176751215073]
Greedy Coordinate Gradient (GCG)攻撃の成功は、最適化ベースのジェイルブレイク技術の研究への関心が高まっている。我々はGCGのような最適化ベースのジェイルブレイクにいくつかの改良(経験的)技術を提案する。以上の結果から,GCGが最先端のジェイルブレイク攻撃より優れ,100%近い攻撃成功率を達成できる可能性が示唆された。
論文参考訳（メタデータ） (2024-05-31T17:07:15Z)
Distract Large Language Models for Automatic Jailbreak Attack [8.364590541640482]
大規模言語モデルの自動レッドチーム化のための新しいブラックボックスジェイルブレイクフレームワークを提案する。我々は、Jailbreak LLMに対する反復最適化アルゴリズムを用いて、悪意のあるコンテンツの隠蔽とメモリリフレーミングを設計した。
論文参考訳（メタデータ） (2024-03-13T11:16:43Z)
PAL: Proxy-Guided Black-Box Attack on Large Language Models [55.57987172146731]
大規模言語モデル(LLM)は近年人気が高まっているが、操作時に有害なコンテンツを生成する能力を示している。 PAL(Proxy-Guided Attack on LLMs)は, ブラックボックスクエリのみの設定で, LLMに対する最初の最適化ベースの攻撃である。 GPT-3.5-Turboの攻撃成功率は84%,Llama-2-7Bの攻撃成功率は48%であった。
論文参考訳（メタデータ） (2024-02-15T02:54:49Z)
Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
論文参考訳（メタデータ） (2023-11-15T16:42:29Z)
SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。