論文の概要: Feint and Attack: Attention-Based Strategies for Jailbreaking and Protecting LLMs

• arxiv url: http://arxiv.org/abs/2410.16327v1
• Date: Fri, 18 Oct 2024 17:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:35.892164
• Title: Feint and Attack: Attention-Based Strategies for Jailbreaking and Protecting LLMs
• Title（参考訳）: フェイントとアタック: LLMのジェイルブレイクと保護のための注意に基づく戦略
• Authors: Rui Pu, Chaozhuo Li, Rui Ha, Zejian Chen, Litian Zhang, Zheng Liu, Lirong Qiu, Xi Zhang,
• Abstract要約: 大規模な言語モデル(LLM)の脆弱性にアクセスするのに、jailbreak攻撃を使用することができる。 注意重みの分布は、根本原因を分析するために導入された。 アテンションベースアタック(ABA)と呼ばれる効果的なジェイルブレイク攻撃戦略が提案されている。
• 参考スコア（独自算出の注目度）: 14.0914494696664
• License:
• Abstract: Jailbreak attack can be used to access the vulnerabilities of Large Language Models (LLMs) by inducing LLMs to generate the harmful content. And the most common method of the attack is to construct semantically ambiguous prompts to confuse and mislead the LLMs. To access the security and reveal the intrinsic relation between the input prompt and the output for LLMs, the distribution of attention weight is introduced to analyze the underlying reasons. By using statistical analysis methods, some novel metrics are defined to better describe the distribution of attention weight, such as the Attention Intensity on Sensitive Words (Attn_SensWords), the Attention-based Contextual Dependency Score (Attn_DepScore) and Attention Dispersion Entropy (Attn_Entropy). By leveraging the distinct characteristics of these metrics, the beam search algorithm and inspired by the military strategy "Feint and Attack", an effective jailbreak attack strategy named as Attention-Based Attack (ABA) is proposed. In the ABA, nested attack prompts are employed to divert the attention distribution of the LLMs. In this manner, more harmless parts of the input can be used to attract the attention of the LLMs. In addition, motivated by ABA, an effective defense strategy called as Attention-Based Defense (ABD) is also put forward. Compared with ABA, the ABD can be used to enhance the robustness of LLMs by calibrating the attention distribution of the input prompt. Some comparative experiments have been given to demonstrate the effectiveness of ABA and ABD. Therefore, both ABA and ABD can be used to access the security of the LLMs. The comparative experiment results also give a logical explanation that the distribution of attention weight can bring great influence on the output for LLMs.
• Abstract（参考訳）: ジェイルブレイク攻撃は、LLMを誘導して有害なコンテンツを生成することで、Large Language Models(LLM)の脆弱性にアクセスするために使用できる。 攻撃の最も一般的な方法は、LLMを混乱させ誤解させる意味的に曖昧なプロンプトを構築することである。 セキュリティにアクセスし、LSMの入力プロンプトと出力の本質的な関係を明らかにするために、注意重みの分布を導入し、根本原因を分析する。 Attn_SensWords, Attention-based Contextual Dependency Score (Attn_DepScore) , Attention Dispersion Entropy (Attn_Entropy) などである。 これらの指標の特徴を活かして、ビームサーチアルゴリズムと軍事戦略「ファイント・アンド・アタック」にヒントを得て、アテンションベースアタック(ABA)と呼ばれる効果的なジェイルブレイク攻撃戦略を提案する。 ABAでは、LSMの注意分布を分散させるためにネスト攻撃プロンプトが使用される。 このようにして、入力のより無害な部分は、LSMの注意を引くために使用できる。 また、ABD(アテンション・ベース・ディフェンス)と呼ばれる効果的な防衛戦略も推進されている。 ABAと比較して、ABDは入力プロンプトの注意分布を校正することでLDMのロバスト性を高めることができる。 ABAとABDの有効性を示すために、いくつかの比較実験が行われた。 したがって、ABAとABDの両方がLLMのセキュリティにアクセスするのに利用できる。 比較実験の結果は、注意重みの分布がLLMの出力に大きな影響を与えるという論理的説明を与える。

関連論文リスト

• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Cross-modality Information Check for Detecting Jailbreaking in Multimodal Large Language Models [17.663550432103534]
  マルチモーダル大言語モデル(MLLM)は、多モーダル情報を包括的に理解するためにLLMの能力を拡張する。 これらのモデルは、悪意のあるユーザーがターゲットモデルの安全アライメントを壊し、誤解を招く、有害な回答を発生させることができるジェイルブレイク攻撃の影響を受けやすい。 本稿では,悪質な摂動画像入力を識別するプラグイン・アンド・プレイのジェイルブレイク検出装置であるCIDERを提案する。
  論文  参考訳（メタデータ） (2024-07-31T15:02:46Z)
• Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models [21.252514293436437]
  大規模言語モデル(LLM)に対するジェイルブレイク攻撃に対する分析ベースジェイルブレイク(ABJ)を提案する。 ABJはGPT-4-turbo-0409上で94.8%の攻撃成功率(ASR)と1.06の攻撃効率(AE)を達成する。
  論文  参考訳（メタデータ） (2024-07-23T06:14:41Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [82.98081731588717]
  大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。 本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。 我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。