論文の概要: Pseudo-Conversation Injection for LLM Goal Hijacking

• arxiv url: http://arxiv.org/abs/2410.23678v1
• Date: Thu, 31 Oct 2024 06:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:02:15.639695
• Title: Pseudo-Conversation Injection for LLM Goal Hijacking
• Title（参考訳）: LLMゴールハイジャックのための擬似会話注入
• Authors: Zheng Chen, Buhui Yao,
• Abstract要約: ゴールハイジャックでは、攻撃者はユーザーのプロンプトに慎重に作られた悪意のある接尾辞を付加する。 Pseudo-Conversation Injectionと呼ばれる新しいゴールハイジャック攻撃手法を導入する。 本稿では,擬似会話をターゲットとした擬似会話,普遍的擬似会話,ロバスト擬似会話という3つの擬似会話構築戦略を提案する。
• 参考スコア（独自算出の注目度）: 3.574664325523221
• License:
• Abstract: Goal hijacking is a type of adversarial attack on Large Language Models (LLMs) where the objective is to manipulate the model into producing a specific, predetermined output, regardless of the user's original input. In goal hijacking, an attacker typically appends a carefully crafted malicious suffix to the user's prompt, which coerces the model into ignoring the user's original input and generating the target response. In this paper, we introduce a novel goal hijacking attack method called Pseudo-Conversation Injection, which leverages the weaknesses of LLMs in role identification within conversation contexts. Specifically, we construct the suffix by fabricating responses from the LLM to the user's initial prompt, followed by a prompt for a malicious new task. This leads the model to perceive the initial prompt and fabricated response as a completed conversation, thereby executing the new, falsified prompt. Following this approach, we propose three Pseudo-Conversation construction strategies: Targeted Pseudo-Conversation, Universal Pseudo-Conversation, and Robust Pseudo-Conversation. These strategies are designed to achieve effective goal hijacking across various scenarios. Our experiments, conducted on two mainstream LLM platforms including ChatGPT and Qwen, demonstrate that our proposed method significantly outperforms existing approaches in terms of attack effectiveness.
• Abstract（参考訳）: ゴールハイジャック(Goal hijacking)は、大規模言語モデル(LLM)に対する敵攻撃の一種であり、その目的は、モデルの操作によって、ユーザーの元の入力に関係なく、特定の所定の出力を生成することである。 ゴールハイジャックでは、攻撃者はユーザーのプロンプトに慎重に作られた悪意のある接尾辞を付加し、モデルの本来の入力を無視し、ターゲットの応答を生成する。 本稿では,会話コンテキストにおける役割識別におけるLLMの弱点を利用した,Pseudo-Conversation Injectionと呼ばれる新たなゴールハイジャック攻撃手法を提案する。 具体的には、LLMからユーザの初期プロンプトへの応答を作成し、次に悪意のある新しいタスクのプロンプトを作成する。 これにより、モデルが初期プロンプトと製造された応答を完了した会話として知覚し、新しい偽造プロンプトを実行する。 提案手法は,3つの擬似会話構築戦略である「擬似会話」,「普遍的擬似会話」,「ロバスト擬似会話」を提案する。 これらの戦略は、様々なシナリオにまたがる効果的なゴールハイジャックを実現するように設計されている。 また,ChatGPT と Qwen の2つの主要な LLM プラットフォーム上で行った実験により,提案手法は攻撃効率において既存手法よりも有意に優れていることを示した。

関連論文リスト

• The Dark Side of Human Feedback: Poisoning Large Language Models via User Inputs [8.449922248196705]
  我々は,アライメントトレーニング保護を貫くために,ユーザから供給されるプロンプトを介して,微妙ながら効果的な毒殺攻撃を行う。 我々の攻撃は、ブラックボックス設定における目標LLMの明示的な知識がなくても、報酬フィードバック機構を微妙に変更する。 これらの特殊なプロンプトの1%をデータに注入することにより、悪意のあるユーザを通して、特定のトリガーワードを使用する場合の毒性スコアを最大2倍に向上させる。
  論文  参考訳（メタデータ） (2024-09-01T17:40:04Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• Semantic-guided Prompt Organization for Universal Goal Hijacking against LLMs [30.56428628397079]
  本稿では,意味誘導型プロンプト処理戦略を取り入れたPOUGHと呼ばれる汎用ゴールハイジャック手法を提案する。 この方法はまず、候補プールから代表プロンプトを選択するためのサンプリング戦略から始まり、次にプロンプトを優先順位付けするランキング戦略が続く。 4種類の人気言語モデルと10種類のターゲット応答を用いた実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-05-23T05:31:41Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Hijacking Large Language Models via Adversarial In-Context Learning [8.15194326639149]
  In-context Learning (ICL)は、特定の下流タスクにLLMを活用する強力なパラダイムとして登場した。 既存の攻撃は、検出しやすく、外部モデルに依存しているか、ICLに対する特異性を欠いている。 この研究は、これらの問題に対処するために、新たなICLに対するトランスファー可能な攻撃を導入する。
  論文  参考訳（メタデータ） (2023-11-16T15:01:48Z)
• An LLM can Fool Itself: A Prompt-Based Adversarial Attack [26.460067102821476]
  本稿では, プロンプトベースの対向攻撃(PromptAttack)を用いて, LLMの対向ロバスト性を評価する効率的なツールを提案する。 PromptAttackは、敵のテキスト攻撃を攻撃プロンプトに変換することで、被害者のLSMが敵のサンプルを不正に出力する可能性がある。 Llama2とGPT-3.5を使った総合的な実験結果から、PromptAttackはAdvGLUEやAdvGLUE++に比べて攻撃成功率がずっと高いことが証明されている。
  論文  参考訳（メタデータ） (2023-10-20T08:16:46Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Generalizable Black-Box Adversarial Attack with Meta Learning [54.196613395045595]
  ブラックボックス攻撃では、ターゲットモデルのパラメータが不明であり、攻撃者はクエリのフィードバックに基づいて、クエリの予算に基づいて摂動を成功させることを目指している。 本稿では,実例レベルの逆転可能性という,過去の攻撃に対するフィードバック情報を活用することを提案する。 この2種類の逆転送性を持つフレームワークは,市販のクエリベースのアタック手法と自然に組み合わせて性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-01-01T07:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。