論文の概要: Jailbreak Attack Initializations as Extractors of Compliance Directions

• arxiv url: http://arxiv.org/abs/2502.09755v2
• Date: Thu, 05 Jun 2025 15:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.242573
• Title: Jailbreak Attack Initializations as Extractors of Compliance Directions
• Title（参考訳）: ジェイルブレイク攻撃の初期化、コンプライアンス・ディレクティブのエクストラクタとして
• Authors: Amit Levi, Rom Himelstein, Yaniv Nemcovsky, Avi Mendelson, Chaim Baskin,
• Abstract要約: 安全に配慮したLSMは、コンプライアンスまたは拒絶のプロンプトに応答する。 近年の研究では、他のプロンプトからの自己伝達による攻撃の初期化が、その性能を著しく向上させることが示されている。 コンプライアンスの方向性に沿って、未確認のプロンプトをプロジェクションすることを目的としたフレームワークであるCRIを提案する。
• 参考スコア（独自算出の注目度）: 4.506537904404427
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Safety-aligned LLMs respond to prompts with either compliance or refusal, each corresponding to distinct directions in the model's activation space. Recent works show that initializing attacks via self-transfer from other prompts significantly enhances their performance. However, the underlying mechanisms of these initializations remain unclear, and attacks utilize arbitrary or hand-picked initializations. This work presents that each gradient-based jailbreak attack and subsequent initialization gradually converge to a single compliance direction that suppresses refusal, thereby enabling an efficient transition from refusal to compliance. Based on this insight, we propose CRI, an initialization framework that aims to project unseen prompts further along compliance directions. We demonstrate our approach on multiple attacks, models, and datasets, achieving an increased attack success rate (ASR) and reduced computational overhead, highlighting the fragility of safety-aligned LLMs. A reference implementation is available at: https://amit1221levi.github.io/CRI-Jailbreak-Init-LLMs-evaluation.
• Abstract（参考訳）: LLMは、モデルのアクティベーション空間における異なる方向に対応するコンプライアンスまたは拒絶のプロンプトに応答する。 近年の研究では、他のプロンプトからの自己伝達による攻撃の初期化が、その性能を著しく向上させることが示されている。 しかし、これらの初期化の根底にあるメカニズムはいまだ不明であり、攻撃は任意の初期化や手書き初期化を利用する。 本研究は、各勾配ベースのジェイルブレイク攻撃とその後の初期化が、拒絶を抑制する単一のコンプライアンス方向に徐々に収束することを示し、これにより、拒絶からコンプライアンスへの効率的な移行を可能にする。 この知見に基づいて,不明瞭なプロンプトを順守方向に沿って投影することを目的とした初期化フレームワークであるCRIを提案する。 我々は,マルチアタック,モデル,データセットに対するアプローチを実証し,アタック成功率(ASR)の向上と計算オーバーヘッドの低減を実現し,安全性に配慮したLLMの脆弱さを強調した。 リファレンス実装は、https://amit1221levi.github.io/CRI-Jailbreak-Init-LLMs-evaluationで利用可能である。

関連論文リスト

• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• CCJA: Context-Coherent Jailbreak Attack for Aligned Large Language Models [18.06388944779541]
  ジェイルブレイク(jailbreaking)とは、意図しない振る舞いをトリガーする大きな言語モデルである。 本稿では,ジェイルブレイク攻撃の成功率とセマンティック・コヒーレンスとのバランスをとる新しい手法を提案する。 本手法は攻撃効率において最先端のベースラインよりも優れている。
  論文  参考訳（メタデータ） (2025-02-17T02:49:26Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• xJailbreak: Representation Space Guided Reinforcement Learning for Interpretable LLM Jailbreaking [32.89084809038529]
  ブラックボックス・ジェイルブレイク(Black-box jailbreak)は、大規模な言語モデルの安全メカニズムをバイパスする攻撃である。 強化学習(RL)を利用した新しいブラックボックスジェイルブレイク手法を提案する。 我々は,より厳密で総合的なジェイルブレイク成功評価を提供するために,キーワード,意図マッチング,回答バリデーションを取り入れた総合的ジェイルブレイク評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:07:58Z)
• LIAR: Leveraging Inference Time Alignment (Best-of-N) to Jailbreak LLMs in Seconds [98.20826635707341]
  LIAR(Leveraging Inference Time Alignment to jailbReak)は、ジェイルブレイク攻撃に適した高速で効率的なNのアプローチである。 その結果, 最適Nアプローチは, 整列LLMのロバスト性を評価する上で, 単純かつ高効率な戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-12-06T18:02:59Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Catastrophic Jailbreak of Open-source LLMs via Exploiting Generation [39.829517061574364]
  さらに慎重に整列されたモデルも悪意ある操作が可能で、意図しない動作が"jailbreaks"と呼ばれる。 本稿では,デコード方式のバリエーションのみを操作することで,モデルアライメントを阻害するジェネレーションエクスプロイト攻撃を提案する。 本研究は,オープンソースのLCMの安全性評価およびアライメント手順において,大きな失敗を指摘したものである。
  論文  参考訳（メタデータ） (2023-10-10T20:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。