論文の概要: Jailbreak Attack Initializations as Extractors of Compliance Directions

• arxiv url: http://arxiv.org/abs/2502.09755v2
• Date: Thu, 05 Jun 2025 15:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.242573
• Title: Jailbreak Attack Initializations as Extractors of Compliance Directions
• Title（参考訳）: ジェイルブレイク攻撃の初期化、コンプライアンス・ディレクティブのエクストラクタとして
• Authors: Amit Levi, Rom Himelstein, Yaniv Nemcovsky, Avi Mendelson, Chaim Baskin,
• Abstract要約: 安全に配慮したLSMは、コンプライアンスまたは拒絶のプロンプトに応答する。 近年の研究では、他のプロンプトからの自己伝達による攻撃の初期化が、その性能を著しく向上させることが示されている。 コンプライアンスの方向性に沿って、未確認のプロンプトをプロジェクションすることを目的としたフレームワークであるCRIを提案する。
• 参考スコア（独自算出の注目度）: 4.506537904404427
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Safety-aligned LLMs respond to prompts with either compliance or refusal, each corresponding to distinct directions in the model's activation space. Recent works show that initializing attacks via self-transfer from other prompts significantly enhances their performance. However, the underlying mechanisms of these initializations remain unclear, and attacks utilize arbitrary or hand-picked initializations. This work presents that each gradient-based jailbreak attack and subsequent initialization gradually converge to a single compliance direction that suppresses refusal, thereby enabling an efficient transition from refusal to compliance. Based on this insight, we propose CRI, an initialization framework that aims to project unseen prompts further along compliance directions. We demonstrate our approach on multiple attacks, models, and datasets, achieving an increased attack success rate (ASR) and reduced computational overhead, highlighting the fragility of safety-aligned LLMs. A reference implementation is available at: https://amit1221levi.github.io/CRI-Jailbreak-Init-LLMs-evaluation.
• Abstract（参考訳）: LLMは、モデルのアクティベーション空間における異なる方向に対応するコンプライアンスまたは拒絶のプロンプトに応答する。 近年の研究では、他のプロンプトからの自己伝達による攻撃の初期化が、その性能を著しく向上させることが示されている。 しかし、これらの初期化の根底にあるメカニズムはいまだ不明であり、攻撃は任意の初期化や手書き初期化を利用する。 本研究は、各勾配ベースのジェイルブレイク攻撃とその後の初期化が、拒絶を抑制する単一のコンプライアンス方向に徐々に収束することを示し、これにより、拒絶からコンプライアンスへの効率的な移行を可能にする。 この知見に基づいて,不明瞭なプロンプトを順守方向に沿って投影することを目的とした初期化フレームワークであるCRIを提案する。 我々は,マルチアタック,モデル,データセットに対するアプローチを実証し,アタック成功率(ASR)の向上と計算オーバーヘッドの低減を実現し,安全性に配慮したLLMの脆弱さを強調した。 リファレンス実装は、https://amit1221levi.github.io/CRI-Jailbreak-Init-LLMs-evaluationで利用可能である。

関連論文リスト

• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Prefill-Based Jailbreak: A Novel Approach of Bypassing LLM Safety Boundary [2.4329261266984346]
  LLM(Large Language Models)は、有用で安全なコンテンツを生成するように設計されている。 一般的にジェイルブレイクと呼ばれる 敵の攻撃は 安全プロトコルをバイパスできる LLMのプリフィル機能を利用した新しいジェイルブレイク攻撃手法を提案する。
  論文  参考訳（メタデータ） (2025-04-28T07:38:43Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• CCJA: Context-Coherent Jailbreak Attack for Aligned Large Language Models [18.06388944779541]
  ジェイルブレイク(jailbreaking)とは、意図しない振る舞いをトリガーする大きな言語モデルである。 本稿では,ジェイルブレイク攻撃の成功率とセマンティック・コヒーレンスとのバランスをとる新しい手法を提案する。 本手法は攻撃効率において最先端のベースラインよりも優れている。
  論文  参考訳（メタデータ） (2025-02-17T02:49:26Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• xJailbreak: Representation Space Guided Reinforcement Learning for Interpretable LLM Jailbreaking [32.89084809038529]
  ブラックボックス・ジェイルブレイク(Black-box jailbreak)は、大規模な言語モデルの安全メカニズムをバイパスする攻撃である。 強化学習(RL)を利用した新しいブラックボックスジェイルブレイク手法を提案する。 我々は,より厳密で総合的なジェイルブレイク成功評価を提供するために,キーワード,意図マッチング,回答バリデーションを取り入れた総合的ジェイルブレイク評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:07:58Z)
• LIAR: Leveraging Inference Time Alignment (Best-of-N) to Jailbreak LLMs in Seconds [98.20826635707341]
  LIAR(Leveraging Inference Time Alignment to jailbReak)は、ジェイルブレイク攻撃に適した高速で効率的なNのアプローチである。 その結果, 最適Nアプローチは, 整列LLMのロバスト性を評価する上で, 単純かつ高効率な戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-12-06T18:02:59Z)
• An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。 私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models [8.024771725860127]
  大きな言語モデル(LLM)は、安全メカニズムをバイパスするジェイルブレイク攻撃に対して脆弱なままである。 我々は, LLMの安全性ポリシーの活性化を前提として, 計算資源を占有する新しい拡張性のあるジェイルブレイク攻撃を導入する。
  論文  参考訳（メタデータ） (2024-10-05T15:10:01Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Don't Say No: Jailbreaking LLM by Suppressing Refusal [15.350198454170895]
  DSN(Don't Say No)攻撃を導入し、コサイン崩壊スケジュール法と拒絶抑制を組み合わせ、より高い成功率を達成する。 大規模な実験により、DSNはベースライン攻撃より優れ、最先端の攻撃成功率(ASR)を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-25T07:15:23Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Catastrophic Jailbreak of Open-source LLMs via Exploiting Generation [39.829517061574364]
  さらに慎重に整列されたモデルも悪意ある操作が可能で、意図しない動作が"jailbreaks"と呼ばれる。 本稿では,デコード方式のバリエーションのみを操作することで,モデルアライメントを阻害するジェネレーションエクスプロイト攻撃を提案する。 本研究は,オープンソースのLCMの安全性評価およびアライメント手順において,大きな失敗を指摘したものである。
  論文  参考訳（メタデータ） (2023-10-10T20:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。