論文の概要: Exploring and Developing a Pre-Model Safeguard with Draft Models

• arxiv url: http://arxiv.org/abs/2605.19321v1
• Date: Tue, 19 May 2026 04:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.109425
• Title: Exploring and Developing a Pre-Model Safeguard with Draft Models
• Title（参考訳）: ドラフトモデルによるプレモデルセーフガードの探索と開発
• Authors: Hongyu Cai, Arjun Arunasalam, Yiming Liang, Antonio Bianchi, Z. Berkay Celik,
• Abstract要約: 大規模言語モデル(LLM)のアライメントは、Jailbreak攻撃に対して脆弱である。 プレモデルガードは、ターゲットモデルを呼び出す前にプロンプトの安全性を監査する。 ポストモデルガードは、ユーザープロンプトとターゲットモデルの応答を監査することでこの問題に対処する。
• 参考スコア（独自算出の注目度）: 21.47104074821029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) alignment remains vulnerable to jailbreak attacks that elicit unsafe responses, motivating pre-model and post-model guards. Pre-model guards audit the safety of prompts before invoking target models. However, relying solely on the prompt often leads to high false-negative rates (i.e., jailbreak attacks go undetected). Post-model guards address this issue by auditing both the user prompt and the target model's response. However, they incur a high computational cost, including increased token usage and processing time, because they operate after target model inference. In this paper, we introduce a safeguard design that leverages the transferability of jailbreak attacks to enforce prompt safety before target model inference. We first conduct a systematic study of jailbreak transferability, particularly from LLMs to small language models (SLMs). Through these experiments, we identify key factors influencing transferability. Building on these insights, we observe that responses from smaller draft models reflect the safety implications of those from large target models; \ie given a jailbreak prompt constructed for an LLM, an SLM is likely to be triggered to generate an unaligned response. Based on this observation, our safeguard design leverages speculative inference with SLMs to generate a set of draft responses. It then feeds the original prompt and these drafts into existing guards to predict their safety. We demonstrate that this design reduces the false-negative rate of pre-model guards and offers a low \Efficiency alternative to post-model guards. \textcolor{red}{\bf Notice: This paper contains examples of harmful language.}
• Abstract（参考訳）: 大規模な言語モデル(LLM)アライメントは、安全でない応答を誘発し、プレモデルとポストモデルガードを動機付けるジェイルブレイク攻撃に対して脆弱なままである。 プレモデルガードは、ターゲットモデルを呼び出す前にプロンプトの安全性を監査する。 しかし、プロンプトのみに依存すると、しばしば偽陰性率が高くなる(つまり、ジェイルブレイク攻撃は検出されない)。 ポストモデルガードは、ユーザープロンプトとターゲットモデルの応答を監査することでこの問題に対処する。 しかし、ターゲットモデル推論の後に動作するため、トークンの使用量や処理時間の増加など、高い計算コストが発生する。 本稿では,ジェイルブレイク攻撃の転送可能性を活用して,ターゲットモデル推論に先立って迅速な安全性を実現するセーフガード設計を提案する。 本稿ではまず,特にLLMから小言語モデル(SLM)まで,ジェイルブレイクの伝達可能性に関する体系的研究を行う。 これらの実験を通して、転送可能性に影響を及ぼす重要な要因を同定する。 これらの知見に基づいて、より小さなドラフトモデルからの応答は、大きなターゲットモデルからの応答が安全に与える影響を反映していることを観察する;; LLMのために構築されたジェイルブレイクプロンプトが与えられた場合、SLMは非整合応答を生成するためにトリガーされる可能性が高い。 この観測に基づいて,SLMによる投機的推論を利用して,一組のドラフト応答を生成する。 その後、元のプロンプトとこれらのドラフトを既存の警備員に供給し、彼らの安全性を予測する。 この設計により、プレモデルガードの偽陰性率を低減し、ポストモデルガードに代わる低効率な代替手段を提供することを示す。 \textcolor{red}{\bf Notice: 有害な言語の例を含む。 ※

関連論文リスト

• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• One Trigger Token Is Enough: A Defense Strategy for Balancing Safety and Usability in Large Language Models [20.42976162135529]
  大規模言語モデル(LLM)は、仮想アシスタント、自動コード生成、科学研究など、さまざまな領域で広く使われている。 我々は,与えられた安全対応LLMの安全トリガトークンを識別し,明示的に復号する,シンプルで効果的な防衛アルゴリズムであるtextttD-STT を提案する。
  論文  参考訳（メタデータ） (2025-05-12T01:26:50Z)
• DELMAN: Dynamic Defense Against Large Language Model Jailbreaking with Model Editing [62.43110639295449]
  大きな言語モデル(LLM)は意思決定に広く適用されているが、そのデプロイはJailbreak攻撃によって脅かされている。 Delmanは、jailbreak攻撃に対する厳密でダイナミックな保護のために、直接モデル編集を活用する新しいアプローチである。 Delman氏は、モデルの有用性を維持しながら有害な振る舞いを中和するために、関連するパラメータの最小セットを直接更新する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:21Z)
• An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。 私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Self-Evaluation as a Defense Against Adversarial Attacks on LLMs [20.79833694266861]
  自己評価を生かした LLM に対する敵攻撃に対する防御策を導入する。 本手法では, モデル微調整を必要とせず, 生成モデルの入力と出力を評価するために, 事前学習モデルを用いる。 提案手法の有効性を解析し, 各種設定で評価器を攻撃しようとする試みを含む。
  論文  参考訳（メタデータ） (2024-07-03T16:03:42Z)
• Single Character Perturbations Break LLM Alignment [20.79833694266861]
  モデル入力の端に空間を付加するだけで、モデルディフェンスを壊すことが可能であることを示す。 トークン化されたトレーニングデータに単一空間が存在する状況は、モデルにトリガーされた時にリストを生成することを奨励する。 本研究は, 現行モデルアライメントの脆弱さを浮き彫りにして, より堅牢なアライメント手法の開発の重要性を推し進めるものである。
  論文  参考訳（メタデータ） (2024-07-03T16:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。