論文の概要: ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender

• arxiv url: http://arxiv.org/abs/2610.40627v1
• Date: Thu, 29 Oct 2026 17:56:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:18:20.693091
• Title: ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender
• Title（参考訳）: ShallowDefend:マルチターンディフェンダーの安全アライメントを損なう
• Abstract要約: 安全性のアライメントにより、大規模な言語モデルでは、有害な要求を直接確実に拒否することが可能になった。 この脆さは機械的なルーツを持ち、アライメントは浅く、モデルの最初の数個の出力トークンに集中している。 Assess $to$ Decide $to$ Respondは、ディフェンダーがユーザの意図を評価し、明示的で解析可能な安全判断をコミットし、その上でのみ応答条件を生成するフレームワークである。
• 参考スコア（独自算出の注目度）: 33.426545231353884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety alignment has enabled large language models to reliably refuse harmful requests directly, yet the same request distributed across a multi-turn conversation still succeeds far too often. This brittleness has a mechanistic root: Alignment is shallow, with safety behavior concentrated in a model's first few output tokens, and existing defenses inherit the weakness, supervising the surface form of the response without ever giving the model an explicit safety decision to learn. We take the opposite view of shallowness: if a short span determines the trajectory of an entire response, that span is the highest-leverage place to intervene, and the defender can occupy it first. We propose Assess $\to$ Decide $\to$ Respond, a framework in which the defender assesses the user's intent, commits to an explicit, parseable safety decision, and only then generates a reply conditioned on it, with the commitment trained by reinforcement learning at the payload turn. Because the decision is a token span, the reward can be a rule: a self-verified reward checks the committed label against the conversation's known nature, requiring no judge and no annotation, while the same format also supports an LLM-as-judge reward over a graded decision space with safe redirection. Across two model families and fourteen benchmarks spanning safety, utility, and helpfulness, our defenders achieve the strongest multi-turn safety in a controlled comparison, maintaining their lead in safety while preserving utility at a modest cost to helpfulness. A per-token KL analysis and interventional probes confirm why this works: training concentrates its effect on the brief deliberation that sets a response's trajectory, and the decision committed there is a causal control point. The very shallowness attackers exploit becomes the mechanism of defense.
• Abstract（参考訳）: 安全アライメントにより、大規模な言語モデルでは、有害な要求を直接的に拒否することが可能になったが、マルチターン会話に分散された同じ要求は、まだ成功しすぎている。 アライメントは浅く、モデルの最初の数個の出力トークンに集中しており、既存の防御は弱点を継承し、モデルに学習する明確な安全判断を与えることなく、応答の表面形態を監督する。 短いスパンが応答全体の軌跡を決定するならば、スパンは介入する最も平均的な場所であり、ディフェンダーが最初にそれを占有することができる。 我々はAssess $\to$ Decide $\to$ Respondを提案する。これは、ディフェンダーがユーザの意図を評価し、明示的で解析可能な安全判断をコミットし、ペイロードターンで強化学習によってトレーニングされたコミットメントで応答条件を生成できるフレームワークである。 自己検証された報酬は、会話の既知の性質に対してコミットされたラベルをチェックし、判断とアノテーションを必要とせず、同じフォーマットは、安全にリダイレクトされたグレードされた決定空間上でLLM-as-judgeの報酬もサポートする。 2つのモデルファミリーと14のベンチマークが、安全性、実用性、有用性にまたがって、我々のディフェンダーは、制御された比較において最強のマルチターン安全を達成する。 トレーニングは、応答の軌道を規定する短い熟考に集中し、因果制御点がある決定を行う。 非常に浅く攻撃された攻撃者は防御のメカニズムとなる。

関連論文リスト

• Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models [41.9966005658892]
  大規模推論モデル (LRMs) は、最終的な答えを出す前に、強化学習 (RL) を用いて、思考の連鎖推論 (CoT) の生成を改善するために訓練される。 これは、推論トレースと最終応答が矛盾した安全信号を伝達する、偽りの安全アライメントにつながる可能性がある。 SARA(Safety-Aware Reasoning Alignment)は,安全を意識した推論と最終回答の両方に報酬を与えるRLベースの手法である。
  論文  参考訳（メタデータ） (2026-09-28T20:45:10Z)
• Capability-Routed Guard: Defending Large Reasoning Models Against Reasoning-Centric Jailbreaks [6.260656015665084]
  本稿では,大規模推論モデルのためのモデル依存型推論時ガードレールであるCapability-Routed Guard (CRG)を紹介する。 CRGリフレームは、信頼できない推論コンテキストから実行可能な意図を分離し、防御を機能ルーティング問題として促す。 これは多種多様な理性中心のジェイルブレイクを効果的に軽減し、良質なユーティリティを保持し、共通の過剰な問題を回避している。
  論文  参考訳（メタデータ） (2026-08-08T03:40:06Z)
• Addressing Over-Refusal in LLMs with Competing Rewards [28.092622045521917]
  言語モデルの安全性トレーニングは、しばしば過剰な拒絶を引き起こす。 我々は、安全でない推論自体が有用な探索信号として機能すると主張している。 この行動は、有害な推論を直接操作する攻撃を過度に拒絶し、防御するのに役立ちます。
  論文  参考訳（メタデータ） (2026-06-30T14:38:49Z)
• ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails [57.25411733152009]
  推論に基づくガードレールは、最終的な決定を下す前に明確な合理性を生成することによって安全性のモデレーションを改善する。 モデルは、その推論において有害な意図を認識することができるが、それでも安全なラベルを予測したり、政策を根拠とした正当化なしに安全でない決定を下す。 推論に基づくガードレールのための一貫性を考慮したフレームワークであるConsisGuardを提案する。
  論文  参考訳（メタデータ） (2026-05-29T09:42:08Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。