論文の概要: HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment
- arxiv url: http://arxiv.org/abs/2607.00572v2
- Date: Tue, 07 Jul 2026 04:47:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 14:37:42.937561
- Title: HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment
- Title（参考訳）: HARC:ロバストな安全アライメントのためのハーモフルネスと拒絶方向の結合
- Abstract要約: 本研究は,LLMのアライメントにより,残差ストリームにおける有害性と拒絶を,プロンプト側トークン位置における分離可能な方向としてエンコードしていることを示す。
本稿では,2方向をプロンプト位置と応答位置でペアリングする微調整手法であるHARCを紹介する。
- 参考スコア（独自算出の注目度）: 20.669861094136913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how aligned LLMs internally represent safety is critical for diagnosing alignment vulnerabilities, as it explains why jailbreaks succeed and informs the design of robust alignment strategies. Prior work shows that aligned LLMs encode harmfulness and refusal as separable directions in the residual stream at prompt-side token positions. We show that jailbreaks succeed at prompt encoding by suppressing either the refusal or harmfulness direction before any token is generated, with distinct attack classes occupying separable regions of the harmfulness-refusal plane. Extending the analysis to response-token positions, we find that the model recognizes harmful content while it is generating that content, even when it failed to recognize the input as harmful at the prompt side. Motivated by our findings, we introduce HARC (Harmfulness-And-Refusal Coupling), a fine-tuning method that pairs the two directions across both prompt and response positions. Since the intervention is confined to the harmfulness-refusal subspace, it leaves the rest of the residual stream intact and does not degrade general capability or inflate over-refusal. Across extensive experiments, HARC achieves the strongest robustness-capability-usability trade-off among six baselines spanning the major training-time and inference-time safety methods. The harmfulness and refusal directions at prompt and response positions transfer across the five model families and two scales we tested without architecture-specific tuning.
- Abstract（参考訳）: ジェイルブレイクが成功した理由を説明し、ロバストなアライメント戦略の設計を通知するからである。
先行研究では、LLMは有害性をエンコードし、プロンプト側トークン位置の残留ストリームにおいて分離可能な方向として拒絶することを示した。
本研究では, トークン発生前の拒絶方向, 有害方向のどちらかを抑えることで, 迅速な符号化に成功し, 有害面の分離可能な領域を占有する異なる攻撃クラスを有することを示す。
分析対象を対応点に拡張することで,入力が危険であると認識できなかった場合でも,その内容を生成しながら有害な内容を認識できることが判明した。
HARC (Harmfulness-And-Refusal Coupling) は2つの方向をプロンプト位置と応答位置でペアリングする微調整法である。
介入は有害な拒絶部分空間に制限されるため、残余のストリームの残りは無傷のまま残され、一般的な能力を低下したり、過剰な拒絶を減少させることはない。
広範な実験を通じて、HARCは、主要なトレーニング時間と推論時間安全手法にまたがる6つのベースラインの中で、強靭性-耐久性-使用性トレードオフを達成している。
5つのモデルファミリと2つのスケールにまたがるプロンプト位置と応答位置の有害さと拒絶方向をアーキテクチャ固有のチューニングなしで比較した。
関連論文リスト
- From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。
機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける*
我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
論文 参考訳（メタデータ） (2026-08-30T08:01:42Z) - Mitigating Reasoning-Induced Misalignment via Safety-Direction Penalty [8.24007829496575]
推論データの微調整には、数学、コード、思考の連鎖による問題解決を含む有害な内容は含まないが、LLMの有害な振る舞いを誘発することができる。
本研究では, RIMとSDPの表現空間解析を行い, 微調整中に学習した安全方向に沿った動きを罰する。
Qwen2.5-3Bと7Bでは、SDPはベンチマーク推論性能を維持しながら安全性を回復する。
論文 参考訳（メタデータ） (2026-08-24T16:57:28Z) - SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense [77.70598852234149]
テキスト・トゥ・ビデオ(T2V)生成モデルは、現実世界のデプロイにおいてジェイルブレイク攻撃に対して脆弱である。
安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。
実験の結果、SafeCAは主流のT2Vモデルでジェイルブレイクの成功率を約20%削減することが示された。
論文 参考訳（メタデータ） (2026-08-11T14:01:24Z) - Safety in Batches? Understanding and Mitigating Safety Failures in Batch Prompting [31.723003820235448]
有害な質問が孤立して確実に拒否されることは、良質な質問に埋め込まれた場合に有害な応答を誘発することを示します。
私たちはこれを、コンテキスト内学習や長期コンテキスト効果といった既知の脆弱性に再現できない、明確な安全障害モードとして認識しています。
バッチ対応の選好最適化が脆弱性を効果的に軽減することを示す。
論文 参考訳（メタデータ） (2026-08-03T01:07:56Z) - From Refusal Geometry to Safety Geometry: Harmfulness--Refusal Coupling under Dynamic Adversarial Fine-Tuning [14.6508023458559]
既存の評価では、モデルが有害性を認識することを学んだかどうかを明らかにしていない。
本研究では, 有害性担体, 拒絶性担体, 結合性を測定する二重安全幾何プロトコルを用いて検討する。
論文 参考訳（メタデータ） (2026-06-15T07:50:00Z) - Into the Gray Zone: Domain Contexts Can Blur LLM Safety Boundaries [73.1205700856963]
Jargonは、安全調査コンテキストと敵との相互作用を組み合わせたフレームワークで、93%以上の攻撃成功率を達成する。
良性入力と有害入力の間の中間領域,つまり拒絶決定が信頼できないグレーゾーンをJargonクエリが占めていることを示す。
我々は、補助的かつ無害な応答に向けてモデルを操る政策誘導型安全ガードを設計し、微調整によってこの機能を内部化する。
論文 参考訳（メタデータ） (2026-04-17T05:40:42Z) - Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。
我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
論文 参考訳（メタデータ） (2026-01-22T09:32:43Z) - ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。
ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
論文 参考訳（メタデータ） (2025-07-14T09:05:54Z) - Does Representation Intervention Really Identify Desired Concepts and Elicit Alignment? [73.80382983108997]
表現の介入(Representation intervention)は、大規模言語モデルにおいて基礎となる概念を符号化する表現の発見と修正を目的としている。
介入が忠実であれば、介入されたLLMは有害な概念を消去し、非分配的敵のプロンプトとアウト・オブ・ディストリビューションのジェイルブレイクの両方に対して堅牢であるべきである。
本研究では,有害表現と良性表現の境界を簡易化する概念集中(COCA)を提案する。
論文 参考訳（メタデータ） (2025-05-24T12:23:52Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。
本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
論文 参考訳（メタデータ） (2025-03-05T18:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。