論文の概要: Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.11583v1
- Date: Wed, 12 Aug 2026 02:44:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.43739
- Title: Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models
- Title（参考訳）: 安全性アライメントのローカライズ:MLP層と中間ネットワークブロックが大規模言語モデルにおける拒絶動作を符号化する
- Abstract要約: この作業は、アライメントモデルからの重みを、複数のレベルの粒度で一致しない非アライメントベースモデルに移植することで、安全アライメントされた拒絶を符号化する。
両方のモデルファミリ全体では、拒絶転送は重みに支配されており、ベンチマークの少なくとも2.7倍の利得がある。
6つのグリージーな軌跡のうち5つは、より整列されたブロックを追加することで拒絶性能が低下し、選択されたブロックサブセットは悪意のある拒絶、良心的な過剰な拒絶、あるいはその両方において完全な移植よりも優れる。
- 参考スコア（独自算出の注目度）: 5.20555845228727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety alignment in large language models is often treated as a distributed property of the entire network, yet its practical brittleness suggests that refusal behavior may be concentrated in a smaller set of parameters. This work addresses where safety-aligned refusal is encoded by transplanting weights from aligned models into matched unaligned base models at multiple levels of granularity. Using two open-weight model pairs and four safety benchmarks, we conducted experiments to compare the effects of replacing attention weights, MLP weights, contiguous layer regions, and MLP blocks. Across both model families, refusal transfer is dominated by MLP weights: replacing MLP parameters recovers substantially more malicious-prompt refusal than replacing attention parameters, with gains of at least 2.7 times more across benchmarks. Within the MLP stack, refusal-relevant parameters exhibit a consistent mid-network concentration, as the block spanning layers 8-11 is selected first in all six greedy searches over model-dataset pairs. The results also show that the composition of safety-relevant components is non-additive: in five of six greedy trajectories, adding more aligned blocks can reduce refusal performance, and selective block subsets can outperform full MLP transplantation on malicious refusal, benign over-refusal, or both. Finally, greedy orders transferred to OR-Bench vary with the source benchmark used to derive them, indicating a benchmark-dependent precision-coverage trade-off. These results suggest that safety alignment in current LLMs is both localized and interaction-sensitive, offering insight into alignment brittleness and potential avenues for targeted safety interventions.
- Abstract（参考訳）: 大規模言語モデルにおける安全性のアライメントは、ネットワーク全体の分散特性として扱われることが多いが、その実用的脆さは、拒絶行動がより小さなパラメータ集合に集中していることを示唆している。
この作業は、アライメントモデルからの重みを、複数のレベルの粒度で一致しない非アライメントベースモデルに移植することで、安全アライメントされた拒絶を符号化する。
2つのオープンウェイトモデルペアと4つの安全ベンチマークを用いて、注意重み、MLP重み、連続層領域、MPPブロックの置き換え効果の比較実験を行った。
MLPパラメータの置き換えは、注意パラメータの置き換えよりもかなり悪質なプロンプトの拒絶を回復し、ベンチマーク全体で少なくとも2.7倍の利得を得る。
MLPスタック内では、ブロックスパンニング層8〜11がモデル-データセット対上の6つのグリーディ探索で最初に選択されるため、リファレル関連パラメータは、一貫した中間ネットワーク濃度を示す。
また, 安全関連成分の組成は非付加的であり, 6つのグリーディ軌道のうち5つでは, より整合性の高いブロックの追加により拒絶性能が低下し, 選択的ブロックサブセットは悪質な拒絶, 良性な過剰拒絶, あるいはその両方において完全なMLP移植よりも優れていた。
最後に、OR-Benchに転送されるgreedy注文は、それらを引き出すために使用されるソースベンチマークによって異なり、ベンチマーク依存の精度カバレッジトレードオフが示される。
これらの結果から,現在のLCMにおける安全アライメントは局所的かつ相互作用に敏感なものであり,アライメントの脆さや,標的となる安全介入への潜在的道の洞察を与えていることが示唆された。
関連論文リスト
- Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks [45.528190718580724]
Bit-Flip攻撃は、決定レベルのハイジャックを誘導するアタックベクターとして機能する。
CogBiasは、大規模言語モデルのための認知バイアス注入フレームワークである。
論文 参考訳（メタデータ） (2026-07-28T02:59:32Z) - LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。
LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
論文 参考訳（メタデータ） (2026-05-28T11:02:23Z) - OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。
我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。
本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-10T14:16:43Z) - LIME-LLM: Probing Models with Fluent Counterfactuals, Not Broken Text [7.194073942393882]
LIME-LLMは、ランダムノイズを仮説駆動の制御摂動に置き換えるフレームワークである。
実験の結果、LIME-LLMはブラックボックスの説明可能性のための新しいベンチマークを確立している。
論文 参考訳（メタデータ） (2026-01-16T19:55:06Z) - Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。
この問題を修正するために,自己整合サンプリング(SCS)を提案する。
Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
論文 参考訳（メタデータ） (2025-11-13T18:59:57Z) - We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong [19.134202394422285]
Adaptive Multi-Branch Steering (AMBS) は、統合された効率的な多目的アライメントのための2段階の1-Nフレームワークである。
AMBSは、複数の7B LLMバックボーン間のHHHアライメントを一貫して改善する。
論文 参考訳（メタデータ） (2025-09-26T15:52:21Z) - MEUV: Achieving Fine-Grained Capability Activation in Large Language Models via Mutually Exclusive Unlock Vectors [37.488329455418054]
大きな言語モデル(LLM)は、悪意のある要求を確実に拒否するために安全アライメントを強制する。
しかし、同じ毛布の保護具は、警察、防衛、その他の高所設定における合法的な使用をブロックする。
モノリシックな拒絶方向をトピック整列ベクトルに分解する軽量なフレームワークであるMEUV(Mutually Exclusive Unlock Vectors)を紹介する。
論文 参考訳（メタデータ） (2025-09-04T07:16:06Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-05-22T17:11:58Z) - Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。
そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
論文 参考訳（メタデータ） (2025-04-14T09:03:51Z) - Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価
MVPは、標準的な方法よりも平均8%の性能向上を実現している。
また,これらの利得の基盤となるメカニズムの解明も行なっている。
論文 参考訳（メタデータ） (2023-03-13T17:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。