論文の概要: Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak

• arxiv url: http://arxiv.org/abs/2607.14147v1
• Date: Tue, 14 Jul 2026 09:30:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.840409
• Title: Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak
• Title（参考訳）: 前半の拒絶を打破する: 予備ジェイルブレイクの力学的研究
• Abstract要約: 修飾言語モデルは有害な要求を拒否するが、一行のプリフィルは拒絶する。 線形プローブは、拒否されたプローブ(0.91-0.98)よりも高い損傷を読み取るが、振舞いの拒絶は偶然に減少する。 我々はそれを早期ウィンドウにローカライズする: 線量調整された位置制御は、応答の前半が拒否を破るのに十分であり、後半はほとんど不活性である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligned language models refuse harmful requests, but a one-line prefill ("Sure, here is") strips the refusal. We ask where and how it fails. The harm representation stays intact: on the prompts the attack flips to compliance, a linear probe reads harm as high as on the refused ones (0.91-0.98), while behavioral refusal drops to chance. This holds across four models and three families (1.5-3.8B, and at 14B). Refusal is therefore a shallow, response-site computation. We localize it to an early window: a dose-matched position control shows the first half of the response suffices to break refusal, while the second half is nearly inert. Three causal probes converge on that window. Restoring the harm direction there partially re-engages refusal. Injecting the model's own refuse-state reverses the jailbreak (74%, held-out). And knocking out the early response's attention to the prefill, but not an equal attention mass elsewhere, selectively collapses the harmful continuation. A base-model control identifies the mechanism: the same knockout collapses the continuation prefill-specifically even in a non-safety-tuned base model (64% to 25% harmful content vs a matched control's 64%, replicated at 7B). So the prefill's grip is generic autoregressive conditioning, not safety-specific suppression, and "refusal restoration" is a model-dependent fallback. The dominant mechanism is passive. A small safety-specific attractor remains on top (logit-trace concentration 0.24 vs 0.03), whose active-vs-passive character we size but do not fully separate. No single direction or component is a clean handle either: the decision is decodable but distributed, and refusal tracks harm rather than scary surface. The consequence is structural: a monitor reading the untouched prompt-side representation is immune by construction, but only to response-site attacks. The mechanism is diffuse; the failure surface is local.
• Abstract（参考訳）: アライメントされた言語モデルは有害な要求を拒否するが、一行のプリフィル("Sure, here is")によって拒否される。 どこでどのように失敗するかを尋ねる。 攻撃が順守するように促すと、線形プローブは拒否されたもの (0.91-0.98) よりも高い害を読み取るが、行動的拒絶は偶然に減少する。 4つのモデルと3つのファミリー(1.5-3.8B、14B)にまたがる。 したがって、Refusalは浅い応答サイト計算である。 我々はそれを早期ウィンドウにローカライズする: 線量調整された位置制御は、応答の前半が拒否を破るのに十分であり、後半はほとんど不活性である。 3つの因果プローブがその窓に収まる。 危害方向の復元は部分的には拒否される。 モデル自身のリトライステートを注入すると、ジェイルブレイク(74%、保留状態)が逆転する。 プリフィルに対する初期の反応の注意をノックアウトするが、他の場所では等しく注意を向けないため、有害な継続を選択的に破壊する。 ベースモデル制御は、このメカニズムを識別する: 同じノックアウトは、安全でないチューニングベースモデルでも、継続プリフィルを特異的に崩壊させる(有害なコンテンツは64%から25%、マッチしたコントロールの64%が7Bで複製される)。 したがって、プレフィルのグリップは、安全特異的な抑制ではなく、汎用的な自己回帰条件であり、「拒絶修復」はモデル依存のフォールバックである。 支配的なメカニズムは受動的です。 安全性に特有な小さなアトラクションがトップ(logit-trace concentration 0.24 vs 0.03)に残っており、その活性-vs-パッシブ特性はサイズが小さいが完全には分離されていない。 ひとつの方向やコンポーネントはクリーンなハンドラでもありません – 決定は退避可能ですが,分散され,トラックの障害は怖い表面ではなく,回避されます。 その結果は構造的であり、未タッチのプロンプト側表現を読み取るモニターは、構成によって免疫されるが、応答サイト攻撃にのみ反応する。 メカニズムは拡散しており、障害面は局所的である。

関連論文リスト

• Refusal Reads Only a Slice of What the Model Knows: Harm-Keyed Routing and Its Exceptions Across Model Families [1.0829694003408499]
  プレトレーニング後のアライメントは測定可能な方法で浅かった。 モデルの残留ストリーム内の1つの方向を編集し、有害な要求を拒否するのを止めることができる。 私たちはそれが何を読むのかを尋ね、それをモデルが理解しているものから切り離します。
  論文  参考訳（メタデータ） (2026-09-13T19:49:44Z)
• How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE [9.309878989186581]
  指示アブレーションは、残余ストリームを記述する重みから1つの"拒絶方向"を投影することで、整列言語モデルの拒否する能力を取り除く。 残留ストリームがもはや1つのテンソルではなく、重量船が定量化されるような、フロンティア・オブ・エキスパート・ミックスへのシフトを生き残るかどうかを考察する。
  論文  参考訳（メタデータ） (2026-09-09T06:48:08Z)
• Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks [1.0152838128195467]
  フェールトレーニングは、トレーニングモデルによってAIモデルをジェイルブレイクから保護し、安全でないクエリを減らし、誤用のリスクを低減する。 近年の研究では、アライメント言語モデルにおける拒絶行動は、単一のアクティベーション方向または有害なプロンプト間で共有される低次元の拒絶部分空間によって媒介されることが判明している。 しかし、なぜ広範囲のモデルで安全クリティカルな特徴が集中した低次元構造に現れるのかは、いまだ不明である。
  論文  参考訳（メタデータ） (2026-08-26T05:35:54Z)
• Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
  言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。 この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
  論文  参考訳（メタデータ） (2026-08-16T14:47:33Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
  大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。 本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-22T17:56:30Z)
• Latent-space Attacks for Refusal Evasion in Language Models [14.290157825353846]
  我々は,リフレクションをリフレクションから分離するよう訓練された線形プローブに対する遅延空間回避攻撃として再放送した。 我々は15の命令調整、マルチモーダル、推論モデルに対して、最先端の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-05-20T20:10:27Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
  本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。 6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
  論文  参考訳（メタデータ） (2026-02-11T18:09:17Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
  失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。 本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。 微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
  論文  参考訳（メタデータ） (2025-05-25T09:18:24Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Language Model Unalignment: Parametric Red-Teaming to Expose Hidden Harms and Biases [32.2246459413988]
  Red-teamingは、モデルの安全行動をジェイルブレイクして、クエリの有害性を無視した有用なエージェントとして機能させることを目的としている。 我々は、安全研究、すなわち、Unalignmentを通してのレッドチームについて、新しい視点を提示する。 統一性はモデルパラメータを調整し、モデルの振舞いに深く根付いていないモデルガードレールを壊す。
  論文  参考訳（メタデータ） (2023-10-22T13:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。