論文の概要: Merging Improves Self-Critique Against Jailbreak Attacks
- arxiv url: http://arxiv.org/abs/2406.07188v2
- Date: Sun, 14 Jul 2024 18:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 00:16:39.342706
- Title: Merging Improves Self-Critique Against Jailbreak Attacks
- Title（参考訳）: メルジングは、脱獄攻撃に対する自己批判を改善
- Authors: Victor Gallego,
- Abstract要約: 大規模言語モデル(LLM)の、ジェイルブレイク攻撃のような敵の操作に対する堅牢性は、依然として大きな課題である。
本研究では, LLMの自己批判能力を高め, 衛生的な合成データよりも微調整する手法を提案する。
以上の結果から,メルジングと自己批判の組み合わせは,敵の攻撃成功率を大幅に低下させる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of large language models (LLMs) against adversarial manipulations, such as jailbreak attacks, remains a significant challenge. In this work, we propose an approach that enhances the self-critique capability of the LLM and further fine-tunes it over sanitized synthetic data. This is done with the addition of an external critic model that can be merged with the original, thus bolstering self-critique capabilities and improving the robustness of the LLMs response to adversarial prompts. Our results demonstrate that the combination of merging and self-critique can reduce the attack success rate of adversaries significantly, thus offering a promising defense mechanism against jailbreak attacks. Code, data and models released at https://github.com/vicgalle/merging-self-critique-jailbreaks .
- Abstract（参考訳）: 大規模言語モデル(LLM)の、ジェイルブレイク攻撃のような敵の操作に対する堅牢性は、依然として大きな課題である。
本研究では,LLMの自己批判能力を高め,さらに衛生的な合成データに対して微調整する手法を提案する。
これは、オリジナルとマージ可能な外部批評家モデルを追加し、自己批判能力を高め、敵のプロンプトに対するLSMの堅牢性を向上させることで達成される。
以上の結果から, 合併と自己批判の組み合わせは, 敵の攻撃成功率を大幅に低下させる可能性が示唆された。
https://github.com/vicgalle/merging-self-critique-jailbreaks.comでリリースされたコード、データ、モデル。
関連論文リスト
- A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。
私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。
我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
論文 参考訳（メタデータ） (2024-10-21T17:27:01Z) - AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。
包括的な、自動化された、論理的な3つのフレームワークを提案します。
このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
論文 参考訳（メタデータ） (2024-06-06T07:24:41Z) - Don't Say No: Jailbreaking LLM by Suppressing Refusal [13.666830169722576]
本研究では,バニラ目標損失が最適でない理由を最初に明らかにし,損失目標を探索・拡張し,DSN(Don't Say No)攻撃を導入する。
Refusalキーワードマッチングのような既存の評価では、多くの偽陽性および偽陰性インスタンスが明らかである。
この課題を克服するために,自然言語推論(NLI)の矛盾評価と2つの外部LCM評価器を新たに組み込んだアンサンブル評価パイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-25T07:15:23Z) - Distract Large Language Models for Automatic Jailbreak Attack [8.364590541640482]
大規模言語モデルの自動レッドチーム化のための新しいブラックボックスジェイルブレイクフレームワークを提案する。
我々は、Jailbreak LLMに対する反復最適化アルゴリズムを用いて、悪意のあるコンテンツの隠蔽とメモリリフレーミングを設計した。
論文 参考訳（メタデータ） (2024-03-13T11:16:43Z) - Defending Large Language Models against Jailbreak Attacks via Semantic
Smoothing [107.97160023681184]
適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。
提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
論文 参考訳（メタデータ） (2024-02-25T20:36:03Z) - AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large
Language Models [55.748851471119906]
LLM(Large Language Models)の安全性の整合性は、手動のジェイルブレイク攻撃や(自動)敵攻撃によって損なわれる可能性がある。
最近の研究は、これらの攻撃に対する防御が可能であることを示唆している。敵攻撃は無限だが読めないジベリッシュプロンプトを生成し、難易度に基づくフィルタによって検出できる。
両攻撃の強度をマージする,解釈可能な勾配に基づく対向攻撃であるAutoDANを導入する。
論文 参考訳（メタデータ） (2023-10-23T17:46:07Z) - AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。
AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
論文 参考訳（メタデータ） (2023-10-03T19:44:37Z) - CARBEN: Composite Adversarial Robustness Benchmark [70.05004034081377]
本稿では,複合対向攻撃 (CAA) が画像に与える影響を実証する。
異なるモデルのリアルタイム推論を提供し、攻撃レベルのパラメータの設定を容易にする。
CAAに対する敵対的堅牢性を評価するためのリーダーボードも導入されている。
論文 参考訳（メタデータ） (2022-07-16T01:08:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。