論文の概要: CASCADE Against Jailbreaks: Combination Across Stages with Controlled Attack-Defense Evaluation
- arxiv url: http://arxiv.org/abs/2609.21793v1
- Date: Fri, 18 Sep 2026 14:06:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.135894
- Title: CASCADE Against Jailbreaks: Combination Across Stages with Controlled Attack-Defense Evaluation
- Title(参考訳): ジェイルブレイクに対するCASCADE--制御されたアタックディフェンス評価とステージ間の組み合わせ
- Abstract要約: 大規模言語モデル(LLM)に対するジェイルブレイク攻撃に対する防御は、異なるパイプラインステージで実行される。
それぞれの段階でどの防衛を展開すべきか、どのように組み合わせるかは、まだ不明である。
本研究は,パイプライン内およびパイプライン間における防御の組み合わせに関する最初の体系的研究である。
- 参考スコア(独自算出の注目度): 2.37771211295026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Defenses against jailbreak attacks on Large Language Models (LLMs) operate at different pipeline stages, such as input modification or output guard, but it remains unclear which defenses to deploy at each stage and how to combine them. Prior empirical studies, fragmented by inconsistent attack-success-rate definitions and experimental settings, have evaluated defenses largely in isolation. Here we present the first systematic study, to our knowledge, of defense combinations both within and across pipeline stages, under a consistent threat model of direct, black-box, single-turn attacks. Our decision framework standardizes evaluation through a principled attack-success-rate formulation with controlled query budgets, together with explicit fairness rules. Across 19 attacks and 15 defenses, we find that no single defense is universally best, but well-chosen combinations achieve substantial safety with minimal utility degradation, yielding practical recommendations for layered defense pipelines.
- Abstract(参考訳): 大規模言語モデル(LLM)に対するジェイルブレイク攻撃に対する防御は、入力修正や出力ガードなど、異なるパイプラインステージで運用されるが、どの防御を各ステージで展開するか、どのように組み合わせるかは定かではない。
従来の実験的な研究は、無矛盾な攻撃・成功率の定義と実験的な設定によって断片化され、主に単独で防御を評価してきた。
ここでは、直接的、ブラックボックス的、シングルターン攻撃という一貫した脅威モデルの下で、パイプラインステージ内およびパイプラインステージ間の防御の組み合わせについて、私たちの知る限り、最初の体系的な研究を提示する。
本決定フレームワークは,クエリ予算の制御による攻撃リスク率の定式化による評価を,明示的公正性ルールとともに標準化する。
19件の攻撃と15件の防衛は、単一の防衛が普遍的に最善であるわけではないが、十分に選択された組み合わせは、実用上の最小限の劣化を伴って実質的な安全性を達成し、層状防衛パイプラインの実用的な勧告をもたらす。
関連論文リスト
- Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions [21.047807094226986]
本稿では,大規模言語モデルの微調整セキュリティに関する体系的な調査を行う。
攻撃と防御を比較するライフサイクルベースのフレームワークを確立する。
我々は、重要なオープンな問題(構成ロバスト防衛、異相防衛構成、行動仮定を超えた埋め込み空間攻撃)を特定し、具体的な今後の研究方向性を提案する。
論文 参考訳(メタデータ) (2026-05-24T13:34:47Z) - Defending Large Language Models Against Jailbreak Exploits with Responsible AI Considerations [0.9732319879728966]
大きな言語モデル(LLM)は、安全フィルタを回避し、有害または非倫理的な振る舞いを誘発するジェイルブレイクの悪用に影響を受けやすいままである。
この研究は、即時レベル、モデルレベル、トレーニングタイムの介入にまたがって、既存のジェイルブレイク防御の体系的な分類を提示している。
論文 参考訳(メタデータ) (2025-11-24T09:38:11Z) - The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections [74.60337113759313]
現在のジェイルブレイクとプロンプトインジェクションに対する防御は、通常、有害な攻撃文字列の静的セットに対して評価される。
我々は,この評価プロセスに欠陥があることを論じる。代わりに,攻撃戦略を明示的に修正したアダプティブアタッカーに対する防御を,防衛設計に対抗して評価すべきである。
論文 参考訳(メタデータ) (2025-10-10T05:51:04Z) - Bidirectional Intention Inference Enhances LLMs' Defense Against Multi-Turn Jailbreak Attacks [18.3415330691504]
ジェイルブレイク」攻撃は、安全アライメントメカニズムをバイパスする敵のプロンプトを悪用する。
この課題に対処するために,Bi Intention Inference Defense (BIID)を提案する。
BIIDは、フォワード要求に基づく意図推論と後方応答に基づく意図の振り返りを統合する。
論文 参考訳(メタデータ) (2025-09-25T13:29:48Z) - A Critical Evaluation of Defenses against Prompt Injection Attacks [95.81023801370073]
大型言語モデル (LLM) はインジェクション攻撃に弱い。
いくつかの防衛策が提案され、しばしばこれらの攻撃をうまく緩和すると主張した。
既存の研究は、これらの防衛を評価するための原則的なアプローチを欠いていると論じる。
論文 参考訳(メタデータ) (2025-05-23T19:39:56Z) - Checkpoint-GCG: Auditing and Attacking Fine-Tuning-Based Prompt Injection Defenses [10.08464073347558]
細調整による防御に対するホワイトボックス攻撃であるCheckpoint-GCGを導入する。
最強防衛に対する攻撃成功率(ASR)を最大96%まで達成できるチェックポイントGCGを示す。
論文 参考訳(メタデータ) (2025-05-21T16:43:17Z) - The VLLM Safety Paradox: Dual Ease in Jailbreak Attack and Defense [56.32083100401117]
Vision Large Language Models(VLLMs)のジェイルブレイク攻撃に対する脆弱性は、驚くにあたらない。
これらの攻撃に対する最近の防御機構は、ベンチマーク評価においてほぼ飽和状態に達している。
論文 参考訳(メタデータ) (2024-11-13T07:57:19Z) - AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。
包括的な、自動化された、論理的な3つのフレームワークを提案します。
このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
論文 参考訳(メタデータ) (2024-06-06T07:24:41Z) - Randomness in ML Defenses Helps Persistent Attackers and Hinders
Evaluators [49.52538232104449]
堅牢なMLディフェンスを設計することがますます重要になっている。
近年の研究では、当初最先端の攻撃に抵抗する多くの防衛は、適応的な敵によって破壊される可能性があることが判明している。
我々は、防御設計をシンプルにし、ホワイトボックスの防御は可能な限りランダム性を損なうべきだと論じる。
論文 参考訳(メタデータ) (2023-02-27T01:33:31Z) - Measuring Equality in Machine Learning Security Defenses: A Case Study
in Speech Recognition [56.69875958980474]
この研究は、学習したシステムを守るためのアプローチと、異なるサブ人口間でのセキュリティ防衛がパフォーマンス上の不平等をもたらす方法を検討する。
提案された多くの手法は、虚偽の拒絶やロバストネストレーニングの不平等といった直接的な害を引き起こす可能性がある。
本稿では, ランダム化スムースメントとニューラルリジェクションの2つの防御法の比較を行い, マイノリティ集団のサンプリング機構により, ランダム化スムースメントがより公平であることを見出した。
論文 参考訳(メタデータ) (2023-02-17T16:19:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。