論文の概要: Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs

• arxiv url: http://arxiv.org/abs/2610.13078v1
• Date: Fri, 09 Oct 2026 06:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.429887
• Title: Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
• Title（参考訳）: 注意点, MLP は否定: LLM における注意対MLP の安全経路の追跡
• Abstract要約: 安全に整合した大規模言語モデル(LLM)は、ジェイルブレイクに対して脆弱であり、良心的な要求を過度に排除することができる。 我々は、デコーダのみのトランスフォーマーの残ストリーム更新を計測可能とし、モジュール更新が出力する有害情報を、可読性の拒否証拠として生成する変更から分離する。
• 参考スコア（独自算出の注目度）: 16.404641399364127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety-aligned large language models (LLMs) remain vulnerable to jailbreaks and can over-refuse benign requests. Understanding these failures requires distinguishing harmfulness recognition from the computation that writes refusal. We reframe this as a pathway question and make it measurable on residual-stream updates in decoder-only Transformers, separating the harmfulness information a module update exposes from the change it produces in readable refusal evidence. Across 18 Base-Instruct pairs spanning Qwen, Llama, and Gemma, harmfulness is decoded more readily from attention updates, particularly in early layers, whereas MLP updates contribute more strongly to harm-selective refusal writing in aligned models. Post-training strengthens MLP refusal writing in all 18 pairs without systematically improving harmfulness decodability, while positive MLP writing becomes more concentrated in deeper layers after post-training. Across six reasoning-enabled models, harmfulness remains decodable during reasoning while strong refusal writing concentrates at answer onset, a pattern that persists with reasoning disabled. Causal interventions further support this pathway: resetting downstream MLP updates to their clean values substantially reduces the refusal shift caused by upstream attention interventions. Building on these findings, we introduce Sentinel, which combines an attention-derived perception score P with an MLP-derived decision score D. Their joint profiles characterize jailbreaks and over-refusals, and conditional routing with both signals achieves a lower aggregate error rate than single-signal routing and evaluated fixed reminders across eight models.
• Abstract（参考訳）: 安全に整合した大規模言語モデル(LLM)は、ジェイルブレイクに対して脆弱であり、良心的な要求を過度に排除することができる。 これらの失敗を理解するには、有害な認識と、拒否を書く計算を区別する必要がある。 我々はこれを経路問題として再設定し、デコーダのみのトランスフォーマーの残ストリーム更新で測定できるようにし、モジュール更新が出力する有害情報を、可読性の拒否証拠で生成する変更から分離する。 Qwen、Llama、Gemmaにまたがる18のベースとインストラクトのペアは、特に初期のレイヤにおいて、注意の更新から有害性がより容易にデコードされる。 ポストトレーニングでは,全18対のMLP拒絶書込みを系統的に改善することなく強化し,ポストトレーニング後のより深い層に肯定的なMLP書込みが集中する。 推論可能な6つのモデル全体では、推論中に有害性はデオード可能であり、強い拒絶書き込みは応答開始時に集中し、推論を無効にすることで持続するパターンである。 下流のMLP更新をクリーンな値にリセットすることで、上流の注意介入による拒絶シフトを著しく減少させる。 共同プロファイルではジェイルブレイクとオーバーリファレンスを特徴付け,両信号の条件付きルーティングは単一信号のルーティングよりも低い集約誤差率を実現し,8つのモデルにまたがる固定リマインダーを評価した。

関連論文リスト

• Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models [5.20555845228727]
  この作業は、アライメントモデルからの重みを、複数のレベルの粒度で一致しない非アライメントベースモデルに移植することで、安全アライメントされた拒絶を符号化する。 両方のモデルファミリ全体では、拒絶転送は重みに支配されており、ベンチマークの少なくとも2.7倍の利得がある。 6つのグリージーな軌跡のうち5つは、より整列されたブロックを追加することで拒絶性能が低下し、選択されたブロックサブセットは悪意のある拒絶、良心的な過剰な拒絶、あるいはその両方において完全な移植よりも優れる。
  論文  参考訳（メタデータ） (2026-08-12T02:44:30Z)
• An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
  失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。 本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。 微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
  論文  参考訳（メタデータ） (2025-05-25T09:18:24Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning [43.209846711845536]
  現在のアライメント戦略は、キュレートされたデータセットによる監視された安全性の微調整に依存している。 教師付き微調整は,表面テクスチャパターンと安全応答の急激な相関を必然的に強化することを示す。 マシン・アンラーニング(MU)は、教師付き安全微調整の強力な代替手段であることを示す。
  論文  参考訳（メタデータ） (2025-03-14T19:52:08Z)
• Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
  Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価 MVPは、標準的な方法よりも平均8%の性能向上を実現している。 また,これらの利得の基盤となるメカニズムの解明も行なっている。
  論文  参考訳（メタデータ） (2023-03-13T17:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。