論文の概要: Exploiting Prefix-Tree in Structured Output Interfaces for Enhancing Jailbreak Attacking

• arxiv url: http://arxiv.org/abs/2502.13527v1
• Date: Wed, 19 Feb 2025 08:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:38.491833
• Title: Exploiting Prefix-Tree in Structured Output Interfaces for Enhancing Jailbreak Attacking
• Title（参考訳）: ジェイルブレイク攻撃の促進を目的とした構造化出力インタフェースにおけるプリフィックストレーの爆発
• Authors: Yanzeng Li, Yunfan Xiong, Jialun Zhong, Jinchao Zhang, Jie Zhou, Lei Zou,
• Abstract要約: 大規模言語モデル(LLM)は、重要なアプリケーションをもたらすだけでなく、深刻なセキュリティ脅威も導入している。 我々はAttackPrefixTree (APT)と呼ばれるブラックボックス攻撃フレームワークを導入する。 APTは構造化された出力インタフェースを利用して攻撃パターンを動的に構築する。 ベンチマークデータセットの実験は、このアプローチが既存の手法よりも高い攻撃成功率を達成することを示している。
• 参考スコア（独自算出の注目度）: 34.479355499938116
• License:
• Abstract: The rise of Large Language Models (LLMs) has led to significant applications but also introduced serious security threats, particularly from jailbreak attacks that manipulate output generation. These attacks utilize prompt engineering and logit manipulation to steer models toward harmful content, prompting LLM providers to implement filtering and safety alignment strategies. We investigate LLMs' safety mechanisms and their recent applications, revealing a new threat model targeting structured output interfaces, which enable attackers to manipulate the inner logit during LLM generation, requiring only API access permissions. To demonstrate this threat model, we introduce a black-box attack framework called AttackPrefixTree (APT). APT exploits structured output interfaces to dynamically construct attack patterns. By leveraging prefixes of models' safety refusal response and latent harmful outputs, APT effectively bypasses safety measures. Experiments on benchmark datasets indicate that this approach achieves higher attack success rate than existing methods. This work highlights the urgent need for LLM providers to enhance security protocols to address vulnerabilities arising from the interaction between safety patterns and structured outputs.
• Abstract（参考訳）: LLM(Large Language Models)の台頭は、大きな応用をもたらしたが、特に出力生成を操作するジェイルブレイク攻撃による深刻なセキュリティ脅威もたらした。 これらの攻撃は迅速なエンジニアリングとロジット操作を利用して有害なコンテンツに向けてモデルを操り、LLMプロバイダがフィルタリングと安全アライメント戦略を実装するように促した。 LLMの安全性機構とその最近の応用について検討し、構造化された出力インタフェースをターゲットにした新たな脅威モデルを明らかにし、攻撃者はLLM生成時に内部ロジットを操作でき、APIアクセス許可のみを必要とする。 この脅威モデルを示すために、AttackPrefixTree (APT)と呼ばれるブラックボックス攻撃フレームワークを導入する。 APTは構造化された出力インタフェースを利用して攻撃パターンを動的に構築する。 モデルの安全拒絶応答と潜在有害出力のプレフィックスを活用することにより、APTは安全対策を効果的に回避する。 ベンチマークデータセットの実験は、このアプローチが既存の手法よりも高い攻撃成功率を達成することを示している。 この研究は、安全パターンと構造化アウトプット間の相互作用に起因する脆弱性に対処するためのセキュリティプロトコルを強化するためのLLMプロバイダの緊急の必要性を強調している。

関連論文リスト

• Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models [8.024771725860127]
  大きな言語モデル(LLM)は、安全メカニズムをバイパスするジェイルブレイク攻撃に対して脆弱なままである。 我々は, LLMの安全性ポリシーの活性化を前提として, 計算資源を占有する新しい拡張性のあるジェイルブレイク攻撃を導入する。
  論文  参考訳（メタデータ） (2024-10-05T15:10:01Z)
• MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks [2.873719680183099]
  本稿では,大規模言語モデル(LLM)における脱獄予防の重要性を論じる。 我々は,既存の最先端ガードレールの限界を超えるよう設計された,新しいガードレールアーキテクチャであるMoJEを紹介する。 MoJEは、モデル推論中に最小限の計算オーバーヘッドを維持しながら、ジェイルブレイク攻撃の検出に優れる。
  論文  参考訳（メタデータ） (2024-09-26T10:12:19Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.36220909956064]
  SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。 安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。 SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
  論文  参考訳（メタデータ） (2024-06-26T07:15:44Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
  大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。 これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。 本研究では,これらの変更がLLMの安全性に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-04-05T20:31:45Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• Jailbroken: How Does LLM Safety Training Fail? [92.8748773632051]
  ChatGPTの初期リリースに対する"jailbreak"攻撃は、望ましくない振る舞いを引き起こす。 このような攻撃がなぜ成功し、どのように発生できるかを考察する。 障害モードを利用した新たな攻撃は、安全でない要求の収集において、すべてのプロンプトで成功します。
  論文  参考訳（メタデータ） (2023-07-05T17:58:10Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。