論文の概要: Do LLMs Have Political Correctness? Analyzing Ethical Biases and Jailbreak Vulnerabilities in AI Systems

• arxiv url: http://arxiv.org/abs/2410.13334v1
• Date: Thu, 17 Oct 2024 08:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:38.565781
• Title: Do LLMs Have Political Correctness? Analyzing Ethical Biases and Jailbreak Vulnerabilities in AI Systems
• Title（参考訳）: LLMは政治的正確性を持っているか?AIシステムにおける倫理的バイアスとジェイルブレイク脆弱性の分析
• Authors: Isack Lee, Haebin Seong,
• Abstract要約: 我々は,PCJailbreakの概念を導入し,これらの安全性に起因したバイアスによって引き起こされる固有のリスクを強調した。 生成前に防御プロンプトを注入することでジェイルブレイクを防ぎ,効率的な防御手法であるPCDefenseを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Although large language models (LLMs) demonstrate impressive proficiency in various tasks, they present potential safety risks, such as `jailbreaks', where malicious inputs can coerce LLMs into generating harmful content. To address these issues, many LLM developers have implemented various safety measures to align these models. This alignment involves several techniques, including data filtering during pre-training, supervised fine-tuning, reinforcement learning from human feedback, and red-teaming exercises. These methods often introduce deliberate and intentional biases similar to Political Correctness (PC) to ensure the ethical behavior of LLMs. In this paper, we delve into the intentional biases injected into LLMs for safety purposes and examine methods to circumvent these safety alignment techniques. Notably, these intentional biases result in a jailbreaking success rate in GPT-4o models that differs by 20% between non-binary and cisgender keywords and by 16% between white and black keywords, even when the other parts of the prompts are identical. We introduce the concept of PCJailbreak, highlighting the inherent risks posed by these safety-induced biases. Additionally, we propose an efficient defense method PCDefense, which prevents jailbreak attempts by injecting defense prompts prior to generation. PCDefense stands as an appealing alternative to Guard Models, such as Llama-Guard, that require additional inference cost after text generation. Our findings emphasize the urgent need for LLM developers to adopt a more responsible approach when designing and implementing safety measures.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにおいて顕著な熟練度を示すが、悪意のある入力がLSMを強制して有害なコンテンツを生成する「ジェイルブレイク」のような潜在的な安全リスクを示す。 これらの問題に対処するため、多くのLLM開発者はこれらのモデルを調整するために様々な安全対策を実装している。 このアライメントには、事前トレーニング中のデータフィルタリング、教師付き微調整、人間のフィードバックからの強化学習、レッドチーム演習など、いくつかのテクニックが含まれている。 これらの手法は、LLMの倫理的行動を保証するために、政治的正当性(PC)に類似した意図的および意図的なバイアスをしばしば導入する。 本稿では,LLMに注入された意図的バイアスを安全性のために探索し,これらの安全アライメント技術を回避する方法を検討する。 特に、これらの意図的なバイアスは、GPT-4oモデルにおいて、非バイナリキーワードとシスジェンダーキーワードの20%、そして、プロンプトの他の部分が同一であっても、白と黒のキーワードの16%のジェイルブレイク成功率をもたらす。 我々は,PCJailbreakの概念を導入し,これらの安全性に起因したバイアスによって引き起こされる固有のリスクを強調した。 また, より効率的な防衛手法であるPCDefenseを提案し, 生成前に防御プロンプトを注入することにより脱獄の試みを防ぐ。 PCDefenseは、テキスト生成後に追加の推論コストを必要とするLlama-Guardのようなガードモデルに代わる魅力的な代替品である。 本研究は,LLM開発者が安全対策を設計,実施する際に,より責任あるアプローチを採用する必要があることを強調した。

関連論文リスト

• CCJA: Context-Coherent Jailbreak Attack for Aligned Large Language Models [18.06388944779541]
  ジェイルブレイク(jailbreaking)とは、意図しない振る舞いをトリガーする大きな言語モデルである。 本稿では,ジェイルブレイク攻撃の成功率とセマンティック・コヒーレンスとのバランスをとる新しい手法を提案する。 本手法は攻撃効率において最先端のベースラインよりも優れている。
  論文  参考訳（メタデータ） (2025-02-17T02:49:26Z)
• xJailbreak: Representation Space Guided Reinforcement Learning for Interpretable LLM Jailbreaking [32.89084809038529]
  ブラックボックス・ジェイルブレイク(Black-box jailbreak)は、大規模な言語モデルの安全メカニズムをバイパスする攻撃である。 強化学習(RL)を利用した新しいブラックボックスジェイルブレイク手法を提案する。 我々は,より厳密で総合的なジェイルブレイク成功評価を提供するために,キーワード,意図マッチング,回答バリデーションを取り入れた総合的ジェイルブレイク評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:07:58Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• SQL Injection Jailbreak: A Structural Disaster of Large Language Models [71.55108680517422]
  LLMの外部特性をターゲットとした新しいジェイルブレイク手法を提案する。 ユーザプロンプトにジェイルブレイク情報を注入することで、SIJは有害なコンテンツを出力するモデルをうまく誘導する。 本稿では,SIJに対抗するために,セルフリマインダーキーと呼ばれる単純な防御手法を提案する。
  論文  参考訳（メタデータ） (2024-11-03T13:36:34Z)
• Multi-round jailbreak attack on large language models [2.540971544359496]
  私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。 この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。 実験の結果,ラマ2-7Bは94%の成功率を示した。
  論文  参考訳（メタデータ） (2024-10-15T12:08:14Z)
• Jailbreaking Large Language Models Through Alignment Vulnerabilities in Out-of-Distribution Settings [57.136748215262884]
  本稿では,ObscurePrompt for jailbreaking LLMを紹介し,OOD(Out-of-Distribution)データにおける脆弱なアライメントに着想を得た。 まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどう影響するかを考察する。 本手法は,2つの防御機構に対する有効性を保ちながら,攻撃効果の観点から従来の手法を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-19T16:09:58Z)
• How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
  大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。 ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。 中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
  論文  参考訳（メタデータ） (2024-06-09T05:04:37Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。