論文の概要: Emoji Attack: Enhancing Jailbreak Attacks Against Judge LLM Detection

• arxiv url: http://arxiv.org/abs/2411.01077v2
• Date: Tue, 18 Feb 2025 17:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:04:20.793451
• Title: Emoji Attack: Enhancing Jailbreak Attacks Against Judge LLM Detection
• Title（参考訳）: ELJI攻撃: LLM 判決に対するジェイルブレイク攻撃の強化
• Authors: Zhipeng Wei, Yuqi Liu, N. Benjamin Erichson,
• Abstract要約: 脱獄テクニックは、Large Language Models(LLM)を騙して制限されたアウトプットを生成し、深刻な脅威を生じさせる。 1つの防衛線は、生成されたテキストの有害性を評価するために、別の裁判官 LLM を裁判官として使用することである。 トークンセグメンテーションバイアスを利用して既存のジェイルブレイクプロンプトを増幅する新しい戦略である絵文字アタックを導入する。
• 参考スコア（独自算出の注目度）: 15.780320710170043
• License:
• Abstract: Jailbreaking techniques trick Large Language Models (LLMs) into producing restricted outputs, posing a serious threat. One line of defense is to use another LLM as a Judge to evaluate the harmfulness of generated text. However, we reveal that these Judge LLMs are vulnerable to token segmentation bias, an issue that arises when delimiters alter the tokenization process, splitting words into smaller sub-tokens. This disrupts the embeddings of the entire sequence, reducing detection accuracy and allowing harmful content to be misclassified as safe. In this paper, we introduce Emoji Attack, a novel strategy that amplifies existing jailbreak prompts by exploiting token segmentation bias. Our method leverages in-context learning to systematically insert emojis into text before it is evaluated by a Judge LLM, inducing embedding distortions that significantly lower the likelihood of detecting unsafe content. Unlike traditional delimiters, emojis also introduce semantic ambiguity, making them particularly effective in this attack. Through experiments on state-of-the-art Judge LLMs, we demonstrate that Emoji Attack substantially reduces the "unsafe" prediction rate, bypassing existing safeguards.
• Abstract（参考訳）: 脱獄テクニックは、Large Language Models(LLM)を騙して制限されたアウトプットを生成し、深刻な脅威を生じさせる。 防御の1つの行は、生成されたテキストの有害性を評価するために、別のLCMを裁判官として使用することである。 しかし,これらの判断 LLM はトークン分割バイアスに弱いことが判明した。これはデリミッタがトークン化プロセスを変更して,単語を小さなサブトークンに分割する場合に発生する問題である。 これによりシーケンス全体の埋め込みが破壊され、検出精度が低下し、有害なコンテンツが安全であると誤分類される。 本稿では,トークンセグメンテーションバイアスを利用して既存のジェイルブレイクプロンプトを増幅する新しい戦略である絵文字アタックを紹介する。 そこで本手法では,テキストに絵文字を体系的に挿入する手法を用いて,不安全コンテンツ検出の可能性を著しく低下させる埋め込み歪みを誘導する。 従来のデリミッターとは異なり、絵文字は意味的曖昧さも導入しており、この攻撃には特に効果的である。 現状のLLM実験により,エモジアタックは既存の安全対策を回避し,「安全でない」予測率を大幅に低下させることを示した。

関連論文リスト

• xJailbreak: Representation Space Guided Reinforcement Learning for Interpretable LLM Jailbreaking [32.89084809038529]
  ブラックボックス・ジェイルブレイク(Black-box jailbreak)は、大規模な言語モデルの安全メカニズムをバイパスする攻撃である。 強化学習(RL)を利用した新しいブラックボックスジェイルブレイク手法を提案する。 我々は,より厳密で総合的なジェイルブレイク成功評価を提供するために,キーワード,意図マッチング,回答バリデーションを取り入れた総合的ジェイルブレイク評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:07:58Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• Token Highlighter: Inspecting and Mitigating Jailbreak Prompts for Large Language Models [61.916827858666906]
  大規模言語モデル(LLM)は、ユーザクエリに対する応答を提供するために、ChatGPTなどのサービスに統合されつつある。 本稿では,Token Highlighterという手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T05:10:02Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• Towards Understanding Jailbreak Attacks in LLMs: A Representation Space Analysis [47.81417828399084]
  大規模言語モデル(LLM)は、有害な内容を出力するためにLLMを誤解させるジェイルブレーキング(jailbreaking)と呼ばれるタイプの攻撃を受けやすい。 本稿では, LLMの表現空間における有害かつ無害なプロンプトの挙動を考察し, ジェイルブレイク攻撃の本質的特性について検討する。
  論文  参考訳（メタデータ） (2024-06-16T03:38:48Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• Enhancing Jailbreak Attack Against Large Language Models through Silent Tokens [22.24239212756129]
  既存のジェイルブレイク攻撃では、人間の専門家か、複雑なアルゴリズムを使ってプロンプトを作らなければならない。 eosトークンのみを活用する単純な攻撃であるBOOSTを導入する。 LLMがジェイルブレイク攻撃に対して脆弱であることが判明し、強力な安全アライメントアプローチの開発が動機となった。
  論文  参考訳（メタデータ） (2024-05-31T07:41:03Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。