論文の概要: Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks
- arxiv url: http://arxiv.org/abs/2608.25390v2
- Date: Thu, 03 Sep 2026 01:09:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 13:51:58.049235
- Title: Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks
- Title（参考訳）: リファインジオメトリーはリファイントレーニングを反映する:多様なリファインプレフィックスは安定なランクを上げ、リファインベクターアブレーション攻撃を弱める
- Abstract要約: フェールトレーニングは、トレーニングモデルによってAIモデルをジェイルブレイクから保護し、安全でないクエリを減らし、誤用のリスクを低減する。
近年の研究では、アライメント言語モデルにおける拒絶行動は、単一のアクティベーション方向または有害なプロンプト間で共有される低次元の拒絶部分空間によって媒介されることが判明している。
しかし、なぜ広範囲のモデルで安全クリティカルな特徴が集中した低次元構造に現れるのかは、いまだ不明である。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Refusal training protects AI models from jailbreaks by training models to decline unsafe queries, reducing the risk of misuse. Recent work finds that refusal behavior in aligned language models can be mediated by a single activation direction or a low-dimensional refusal subspace shared across harmful prompts: ablating those directions suppresses refusals while largely preserves other model capabilities. Yet it remains unclear why safety-critical features in a wide range of models emerge in a concentrated, low-dimensional structure. In a case study of OLMo-2-0425-1B-Instruct we find that the refusal geometry reflects refusal training: activation updates resulting from refusal-completion first-token losses explain the resulting refusal direction and refusal subspace. We study refusal directions through the training dynamics across refusal datasets and reveal that their brittleness is associated with repetitive refusal starts, which in turn is linked to concentration of gradients and refusal features in a low-dimensional subspace. Across frozen-model analyses and controlled synthetic fine-tuning, we find evidence of a hardening lever: diverse refusal starts can raise stable ranks of gradients and activation changes, making refusals harder to remove with a vector ablation attack.
- Abstract（参考訳）: フェールトレーニングは、トレーニングモデルによってAIモデルをジェイルブレイクから保護し、安全でないクエリを減らし、誤用のリスクを低減する。
近年の研究では、アライメント言語モデルの拒絶行動は、単一のアクティベーション方向または有害なプロンプト間で共有される低次元の拒絶部分空間によって媒介されることが判明している。
しかし、なぜ広範囲のモデルで安全クリティカルな特徴が集中した低次元構造に現れるのかは不明だ。
OLMo-2-0425-1B-インストラクタのケーススタディでは、拒絶幾何学が拒絶訓練を反映していることが判明した。
本研究では,リファレンスデータセット間のトレーニング力学を通してリファレンス方向を解析し,その脆さが繰り返しリファレンス開始と関係していることを明らかにする。
凍結モデル解析と制御された合成微調整により、硬化レバーの証拠が得られた: 多様な拒絶開始は、安定した勾配と活性化の変化のランクを上昇させ、ベクターアブレーション攻撃による拒絶を難しくする。
関連論文リスト
- Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。
この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
論文 参考訳（メタデータ） (2026-08-16T14:47:33Z) - Latent-space Attacks for Refusal Evasion in Language Models [14.290157825353846]
我々は,リフレクションをリフレクションから分離するよう訓練された線形プローブに対する遅延空間回避攻撃として再放送した。
我々は15の命令調整、マルチモーダル、推論モデルに対して、最先端の攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-05-20T20:10:27Z) - Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。
本稿では,NullSteerを提案する。
我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
論文 参考訳（メタデータ） (2026-03-23T15:23:23Z) - Refusal Steering: Fine-grained Control over LLM Refusal Behaviour for Sensitive Topics [2.4839105527363574]
本稿では,大言語モデルの拒否動作を詳細に制御する推論時間手法であるRefusal Steeringを紹介する。
有害なコンテンツの安全性を保ちつつ、政治的拒絶行為を除去できることを示す。
論文 参考訳（メタデータ） (2025-12-18T14:43:04Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。
私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文 参考訳（メタデータ） (2025-09-29T04:27:23Z) - An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。
本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。
微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
論文 参考訳（メタデータ） (2025-05-25T09:18:24Z) - Think Before Refusal : Triggering Safety Reflection in LLMs to Mitigate False Refusal Behavior [59.20260988638777]
本研究は, 応答発生前の安全反射の促進により, 虚偽の拒絶行動が軽減されることを実証する。
15種類の事前訓練モデルを対象としたアブレーション実験において, 安全性を考慮した微調整モデルでは, 誤検知の挙動が著しく低下することがわかった。
論文 参考訳（メタデータ） (2025-03-22T23:35:49Z) - The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence [57.57786477441956]
以前の研究は、モデルのアクティベーション空間における1つの拒絶方向が、LCMが要求を拒否するかどうかを決定することを示唆している。
本稿では,表現工学における勾配に基づく新しい手法を提案し,それを用いて拒絶方向を同定する。
LLMの拒絶機構は複雑な空間構造によって制御され、機能的に独立な方向を識別する。
論文 参考訳（メタデータ） (2025-02-24T18:52:59Z) - Refusal in Language Models Is Mediated by a Single Direction [4.532520427311685]
リファリングは1次元のサブスペースによって媒介され、最大72Bのパラメータを持つ13の人気のオープンソースチャットモデルにまたがる。
そこで本研究では,他の機能に最小限の影響を伴って拒絶を手術的に無効にする,新しいホワイトボックス・ジェイルブレイク法を提案する。
論文 参考訳（メタデータ） (2024-06-17T16:36:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。