論文の概要: The Geometry of Refusal: Why Post-Hoc Safety Is Fragile and Pretraining-Time Safety Persists

• arxiv url: http://arxiv.org/abs/2609.06934v1
• Date: Mon, 07 Sep 2026 02:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.338213
• Title: The Geometry of Refusal: Why Post-Hoc Safety Is Fragile and Pretraining-Time Safety Persists
• Title（参考訳）: 拒絶の幾何学:なぜポストホックの安全は軽微で、時間的安全のペシストを訓練するのか
• Abstract要約: ホック後の安全トレーニングは、大きな言語モデルを整合させる主要な方法である。 幾何的な説明を1つ与えて、事前訓練中に安全が保たれるように追跡する。
• 参考スコア（独自算出の注目度）: 14.170453340251981
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Post-hoc safety training (RLHF, DPO) is the dominant way to align large language models, yet jailbreaks (Zou et al., 2023b), fine-tuning attacks (Qi et al., 2024), and activation-space probes (Arditi et al., 2024) keep recovering the behaviors it was meant to remove. We give this fragility one geometric explanation and trace it to when, during pretraining, safety can take hold. We measure the safety update $Δ= W_{\text{safe}} - W_{\text{base}}$ against the curvature of the model's capabilities (the empirical Fisher of a capability loss). Post-hoc safety consistently lands in a suppression regime: $Δ$ is nearly orthogonal to the capability directions, and its small in-subspace part concentrates on a few high-curvature ones. The update is thin but sharp, a refusal gate laid over intact capabilities rather than erasure of them. A kernel-immobility lemma explains why such an update can only mask a capability, not remove it, so a little benign fine-tuning restores it: 100 steps of benign fine-tuning collapse refusal on Qwen-2.5-7B and Llama-3-8B Instruct at preserved capability, a signature that replicates across five model families. Following the account into pretraining, a 267-checkpoint sweep of OLMo-2-1B (OLMo et al., 2025) shows the substrate that safety engages emerging in a sharp transition between roughly 6B and 60B pretraining tokens. We then use the account constructively: models trained from scratch with safety co-training spread continuously across pretraining reach 87 to 98% refusal whose post-attack level holds at 84 to 91% at every scale, an erosion of 2 to 14 pp against 35 to 38 pp for post-hoc installs, at capability matched or better than an LM-only baseline and holding from 410M to 6.9B, whereas a compute-matched windowed schedule installs no lasting refusal. Persistence of the safety signal across pretraining, not its timing, is what buys attack robustness.
• Abstract（参考訳）: ポストホック安全訓練(RLHF, DPO)は、大規模な言語モデルを整列させる主要な方法であるが、ジェイルブレイク(Zou et al , 2023b)、微調整攻撃(Qi et al , 2024)、アクティベーションスペースプローブ(Arditi et al , 2024)は、削除しようとする動作を回復し続ける。 この脆弱性を幾何学的に説明し、事前訓練中に安全が保たれるように追跡します。 安全アップデートの$Δ= W_{\text{safe}} - W_{\text{base}}$は、モデルの能力の曲率(能力損失の実証的フィッシャー)に対して測定します。 Δ$は能力の方向とほぼ直交しており、その小さな部分の宇宙空間はいくつかの高い曲率に集中している。 アップデートは薄くてシャープで、消毒ではなく、無傷で機能するゲートが敷かれた。 例えば、Qwen-2.5-7B と Llama-3-8B の良質な微調整による崩壊拒否の100ステップは、5つのモデルファミリ間で複製されるシグネチャである。 事前トレーニングに関する説明に続いて、OLMo-2-1B (OLMo et al , 2025) の267点のチェックポイントスイープは、約6Bから60Bの事前トレーニングトークン間の急激な遷移に安全が関与することを示す。 攻撃後レベルが84～91%である87～98%の拒絶や、2～14pp対35～38ppの侵食、LMのみのベースラインに適合する能力、および410Mから6.9Bの保持能力で、コンピュータマッチングされたウィンドウスケジュールでは、持続的な拒絶は行われない。 事前訓練による安全信号の持続性は、そのタイミングではなく、攻撃の堅牢性を買うものである。

関連論文リスト

• Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration [37.700303596218184]
  RFA(Refusal Feature Ablation)を用いたオープンウェイト言語モデルの安全ガードレールのバイパス 本稿では,DDO(Decoy Direction Optimization)について紹介する。 この効果を定式化するスペクトル境界を証明し、6つのモデルファミリーでDDOを評価し、標準RFA下で10%のASRを達成する。
  論文  参考訳（メタデータ） (2026-09-14T18:36:35Z)
• When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs [4.484096675953176]
  モデルマージは、トレーニングをすることなく、整合した言語モデルに新しいスキルを与えるデフォルトの方法となっている。 ほぼすべての証拠は、静的な拒絶テストにかかっている。 SkillSafe-Benchは、静的リフレクション、適応的ジェイルブレイク堅牢性、能力維持に関するスキルマージされたモデルをスコアするベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T07:41:06Z)
• Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production [46.70131379857202]
  本報告では,SESG(Self-Evolving Safety Guardrails)を運用中のマルチエージェントシステムとして紹介する。 SESGは配置されたガードレールの背後にあるライブトラフィックを監視し、障害の2つのクラスをサーフェスする。 1.7Bガードレールは16時間から24時間で新たな脅威に適応し、約2時間の人的努力と、それに代わる40～90時間の手作業に適応する。
  論文  参考訳（メタデータ） (2026-08-09T04:31:05Z)
• Poster: ClawdGo: Endogenous Security Awareness Training for Autonomous AI Agents [14.881952206331968]
  ClawdGoは内因性セキュリティ意識トレーニングのためのフレームワークである。 OpenClawのフェイスプロンプトインジェクション、メモリ中毒、サプライチェーン攻撃、ソーシャルエンジニアリングなどのプラットフォームにデプロイされるエージェント。 我々はエージェントに、モデル変更なしで、推論時に内部からの脅威を認識し、推論するように教える。
  論文  参考訳（メタデータ） (2026-04-27T04:09:27Z)
• HealthCraft: A Reinforcement Learning Safety Environment for Emergency Medicine [0.0]
  現実的な緊急医療環境下での軌道レベルの安全を報いる最初の公共強化学習環境であるHealthCraftを紹介する。 14のエンティティタイプと3,987のシードエンティティを持つFHIR R4ワールドステート上に構築され、24のMPPツールを公開し、安全クリティカルな基準に違反するたびに報酬をゼロにする2層ルーブリックを定義する。
  論文  参考訳（メタデータ） (2026-04-18T03:40:24Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
  本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。 6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
  論文  参考訳（メタデータ） (2026-02-11T18:09:17Z)
• Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection [52.551864761088574]
  大規模言語モデル(LLM)は、しばしばアライメント税を課す。 この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。 我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
  論文  参考訳（メタデータ） (2026-02-08T09:53:46Z)
• Q-realign: Piggybacking Realignment on Quantization for Safe and Efficient LLM Deployment [55.14890249389052]
  既存の防衛は、安全回復を微調整に埋め込んだり、微調整による修正に先立って微調整に頼ったりしている。 我々は,ポストトレーニング量子化に基づくポストホック防御手法であるtextttQ-realign を提案する。 私たちの仕事は、安全を意識したデプロイメントのための実践的でターンキーなソリューションを提供します。
  論文  参考訳（メタデータ） (2026-01-13T00:07:24Z)
• A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space [91.99501941169831]
  GuardSpaceは、微調整全体を通して安全アライメントを維持するためのガードレールフレームワークである。 GSM8Kで微調整されたLlama-2-7B-Chatでは、ガードスペースは最先端のAsFTよりも優れている。
  論文  参考訳（メタデータ） (2025-10-16T04:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。