論文の概要: Testing the Limits of Jailbreaking Defenses with the Purple Problem

• arxiv url: http://arxiv.org/abs/2403.14725v2
• Date: Mon, 24 Jun 2024 05:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 01:22:15.393640
• Title: Testing the Limits of Jailbreaking Defenses with the Purple Problem
• Title（参考訳）: パープル問題による脱獄防御の限界試験
• Authors: Taeyoun Kim, Suhas Kotha, Aditi Raghunathan,
• Abstract要約: 言語モデルに対する「ジェイルブレイク」攻撃の台頭は、望ましくない反応を防ぐための防衛策の急増につながった。 i) 安全でない出力を構成するものを定義することと, (ii) 入力処理や微調整などの手法による定義を強制することである。
• 参考スコア（独自算出の注目度）: 12.09165658395643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of "jailbreak" attacks on language models has led to a flurry of defenses aimed at preventing undesirable responses. We critically examine the two stages of the defense pipeline: (i) defining what constitutes unsafe outputs, and (ii) enforcing the definition via methods such as input processing or fine-tuning. To test the efficacy of existing enforcement mechanisms, we consider a simple and well-specified definition of unsafe outputs--outputs that contain the word "purple". Surprisingly, existing fine-tuning and input defenses fail on this simple problem, casting doubt on whether enforcement algorithms can be robust for more complicated definitions. We find that real safety benchmarks similarly test enforcement for a fixed definition. We hope that future research can lead to effective/fast enforcement as well as high quality definitions used for enforcement and evaluation.
• Abstract（参考訳）: 言語モデルに対する「ジェイルブレイク」攻撃の台頭は、望ましくない反応を防ぐための防衛策の急増につながった。 防衛パイプラインの2つの段階について批判的に検討する。 (i)安全でない出力を構成するものを定義し、 (ii)入力処理や微調整などの手法による定義の強制。 既存の実施機構の有効性をテストするために,「紫」という単語を含む安全でない出力の単純かつ明確に定義された定義について検討する。 驚くべきことに、既存の微調整と入力の防御は、この単純な問題に失敗し、より複雑な定義のために強制アルゴリズムが堅牢であるかどうか疑問を呈している。 実際の安全ベンチマークも同様に、固定された定義の実施をテストする。 今後の研究は、効果的かつ迅速な実施と、実施と評価に使用される高品質な定義につながることを願っています。

関連論文リスト

• Fundamental Limitations in Defending LLM Finetuning APIs [61.29028411001255]
  細調整APIの防御は、細調整攻撃を防ぐ能力に基本的に制限されていることを示す。 我々は、危険知識を隠蔽的に伝達するために、良性モデル出力のエントロピーを再利用する'ポイントワイド検出不能'アタックを構築した。 OpenAIの微調整APIに対する攻撃をテストし、有害な複数の質問に対する回答を導き出すことに成功しました。
  論文  参考訳（メタデータ） (2025-02-20T18:45:01Z)
• X-Boundary: Establishing Exact Safety Boundary to Shield LLMs from Multi-Turn Jailbreaks without Compromising Usability [21.889451399408916]
  既存の防御方法は、マルチターンジェイルブレイクに対するLDMの堅牢性を改善するが、ユーザビリティを損なう。 我々は,有害な表現を安全な表現から遠ざけ,正確な識別境界を得るために,X境界を提案する。 実験結果から,X-Boundaryは多ターンジェイルブレイクに対する最先端の防御性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-02-14T08:22:51Z)
• xJailbreak: Representation Space Guided Reinforcement Learning for Interpretable LLM Jailbreaking [32.89084809038529]
  ブラックボックス・ジェイルブレイク(Black-box jailbreak)は、大規模な言語モデルの安全メカニズムをバイパスする攻撃である。 強化学習(RL)を利用した新しいブラックボックスジェイルブレイク手法を提案する。 我々は,より厳密で総合的なジェイルブレイク成功評価を提供するために,キーワード,意図マッチング,回答バリデーションを取り入れた総合的ジェイルブレイク評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:07:58Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Shaping the Safety Boundaries: Understanding and Defending Against Jailbreaks in Large Language Models [59.25318174362368]
  大規模言語モデル(LLM)におけるジェイルブレークは、LLMを騙して有害なテキストを生成するというセキュリティ上の問題である。 我々は7つの異なるジェイルブレイク法を詳細に分析し、不一致が不十分な観察サンプルから生じることを確認した。 安全境界内でのアクティベーションを適応的に制限する「textbfActivation Boundary Defense (ABD)」という新しい防衛法を提案する。
  論文  参考訳（メタデータ） (2024-12-22T14:18:39Z)
• The VLLM Safety Paradox: Dual Ease in Jailbreak Attack and Defense [56.32083100401117]
  本稿では,視覚大言語モデル (VLLM) がジェイルブレイク攻撃のリスクが高い理由を考察する。 既存の防御機構は、テキストバウンド・プルーデンスの問題に悩まされる。 ジェイルブレイクの2つの代表的な評価手法は、しばしばチャンス合意を示す。
  論文  参考訳（メタデータ） (2024-11-13T07:57:19Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• ETA: Evaluating Then Aligning Safety of Vision Language Models at Inference Time [12.160713548659457]
  対向的な視覚入力は、容易にVLM防御機構をバイパスすることができる。 本稿では,入力された視覚的内容と出力応答を評価する2相推論時間アライメントフレームワークを提案する。 実験の結果, ETAは無害性, 有用性, 効率の点で, ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-09T07:21:43Z)
• HSF: Defending against Jailbreak Attacks with Hidden State Filtering [14.031010511732008]
  隠れ状態フィルタ(HSF)に基づくジェイルブレイク攻撃防御戦略を提案する。 HSFは、推論プロセスが始まる前に、モデルが相手の入力をプリエンプティブに識別し、拒否することを可能にする。 不正なユーザクエリに対する応答を最小限に抑えながら、Jailbreak攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2024-08-31T06:50:07Z)
• AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
  本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。 AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
  論文  参考訳（メタデータ） (2023-10-03T19:44:37Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。