論文の概要: SafeEvo: Deciphering the Safety Alignment Mechanism and Evolution in Language Models

• arxiv url: http://arxiv.org/abs/2610.09600v1
• Date: Wed, 07 Oct 2026 07:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.779174
• Title: SafeEvo: Deciphering the Safety Alignment Mechanism and Evolution in Language Models
• Title（参考訳）: SafeEvo: 言語モデルにおける安全アライメント機構と進化の解読
• Abstract要約: 安全性の解釈性は、データやアルゴリズムによって引き起こされる行動制約から、Large Language Model (LLM)アライメントの研究を前進させる。 回路からの解釈可能性フレームワークであるSafeEvo(LCMの観点からの疎部分グラフ)を提案する。 SafeEvoは3つの面でバニラアライメントを上回り, 強いアライメント, 有害度スコアを63.21%低下させる。
• 参考スコア（独自算出の注目度）: 34.99963597786806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety interpretability advances the study of Large Language Model (LLM) alignment from behavioral constraints driven by data or algorithms towards a deeper understanding of internal mechanisms. However, existing works have focused primarily on safety-related representations, attention heads, or neurons after alignment, while largely overlooking the safety mechanisms in pretrained-only models and their evolution across alignment checkpoints. To address this, we propose SafeEvo, an interpretability framework from the circuit (sparse subgraphs of an LLM) perspective. SafeEvo first applies an optimization-based extraction algorithm to identify weak refusal circuits in pretrained base LLMs that can independently express refusal behavior. Causally ablating these circuits completely eliminates the base model's refusal of harmful inputs. SafeEvo then traces the evolution of refusal circuits across successive alignment checkpoints and finds that their structures change progressively, suggesting that the alignment tax may result from refusal-circuit updates affecting utility-related parameters. To validate this, SafeEvo introduces Safety Circuit Alignment (SCA), which confines safety updates to the refusal circuits. Experiments across three LLMs and two alignment algorithms show that, on average, SCA outperforms vanilla alignment in three aspects: \textbf{(1) stronger alignment}, lowering harmfulness score by 63.21\%; \textbf{(2) less over-refusal}, yielding a 58.44\% decrease in refusal rates for benign queries; and \textbf{(3) better utility}, retaining 99.58\% of the original model capabilities.
• Abstract（参考訳）: 安全性の解釈性は、データやアルゴリズムによって引き起こされる行動制約から、内部メカニズムのより深い理解へと、Large Language Model (LLM)アライメントの研究を前進させる。 しかしながら、既存の研究は、主にアライメント後の安全関連表現、注意ヘッド、ニューロンに焦点を当てている一方で、事前訓練されたモデルにおける安全メカニズムとアライメントチェックポイント間の進化を概観している。 これを解決するために,回路(LLMのスパース部分グラフ)の観点からの解釈可能性フレームワークであるSafeEvoを提案する。 SafeEvoは、まず最適化に基づく抽出アルゴリズムを適用し、事前訓練されたベースLLMにおける弱いリファリング回路を識別し、独立してリファリング動作を表現できる。 因果的にこれらの回路を非難することは、ベースモデルの有害な入力の拒絶を完全に排除する。 SafeEvoはその後、連続したアライメントチェックポイントにまたがるリファレル回路の進化を辿り、それらの構造が徐々に変化し、アライメント税はユーティリティ関連パラメータに影響を及ぼすリファレル回路更新によって生じる可能性があることを示唆する。 これを検証するためにSafeEvoは、安全回路アライメント(SCA)を導入した。 3つのLCMと2つのアライメントアルゴリズムによる実験の結果、SCAは平均してバニラアライメントを3つの面で上回り、有害度スコアを63.21\%下げる。

関連論文リスト

• From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
  大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。 機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける* 我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
  論文  参考訳（メタデータ） (2026-08-30T08:01:42Z)
• The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs [1.4323566945483497]
  我々は、"拒絶方向"を分離するゼロ最適化フレームワークであるContrastive Logit Steering (CLS)を紹介した。 CLSは出力分布を直接操作し、アライメントの診断プローブとして機能する。 7つのモデルファミリーに関する実験により、安全実装がアーキテクチャ上決定論的であることが判明した。
  論文  参考訳（メタデータ） (2026-06-21T22:04:48Z)
• Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion [12.201783188544093]
  Head-Masked Nullspace Steering (HMNS) は、モデルのデフォルト動作に最も注意を払っているヘッドを特定する。 これは、幾何学的、解釈可能性的インフォームド介入を利用する最初のジェイルブレイク手法である。
  論文  参考訳（メタデータ） (2026-04-11T19:19:05Z)
• How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
  推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。 その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
  論文  参考訳（メタデータ） (2026-01-04T18:04:23Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Superficial Safety Alignment Hypothesis [15.215130286922564]
  本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択することを示唆する,表層安全アライメント仮説(SSAH)を提案する。 属性クリティカルなコンポーネントは,安全性クリティカルユニット(SCU),ユーティリティクリティカルユニット(UCU),コンプレックスユニット(CU),冗長ユニット(RU)の4種類に分類する。 実験結果から, 微調整中に特定の安全クリティカル成分を凍結することで, 新たな作業に適応しながら, 安全性特性を維持できることが判明した。
  論文  参考訳（メタデータ） (2024-10-07T19:53:35Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。