論文の概要: When Are Sparse Feature Interventions Actually Localized? Matched Evaluation for SAE-Based Safety Control

• arxiv url: http://arxiv.org/abs/2607.10226v1
• Date: Sat, 11 Jul 2026 09:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.343451
• Title: When Are Sparse Feature Interventions Actually Localized? Matched Evaluation for SAE-Based Safety Control
• Title（参考訳）: スパース・フィーチャー・インターベンションは実際に地域化されるのか? : SAEによる安全管理のためのマッチング評価
• Abstract要約: 我々は,スパースオートエンコーダ(SAE)機能が安全関連行動の局所制御ハンドルとして機能するかを評価する。 我々は,実行時安全対策のための一致したコヒーレンス付き評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We evaluate when sparse autoencoder (SAE) features act as localized control handles for safety-relevant behavior. This question is difficult because apparent success can arise from weak interventions, mismatched baselines, model robustness, or degenerate outputs that automated safety judges mark as unsafe without representing meaningful harmful compliance. We introduce a matched coherence-gated evaluation protocol for runtime safety interventions: methods are compared at matched target-effect points, and the primary target metric counts harmful compliance only when an output is both judge-unsafe and coherent. Applying this protocol to three prompt splits on Gemma-2-9B-it with a Gemma Scope layer-20 residual SAE, we find that SAE feature ablation has a narrow useful regime. SAE top800 reaches a low-to-mid target effect with lower total perturbation and competitive utility, but SAE top1600 loses utility relative to a matched dense refusal-direction baseline, and SAE top3200 primarily induces coherence collapse. Human audit confirms that coherence gating removes unsafe-only artifacts, and feature diagnostics show that the useful regime is driven by a stable head of refusal-aligned features whose activation separation decays rapidly with rank. These results argue that SAE-based safety interventions should be evaluated as regime-dependent control mechanisms rather than assumed to be uniformly localized.
• Abstract（参考訳）: 我々は,スパースオートエンコーダ(SAE)機能が安全関連行動の局所制御ハンドルとして機能するかを評価する。 この問題は、明らかな成功は、弱い介入、ミスマッチしたベースライン、モデルロバスト性、あるいは自動安全判断が有意義な有害なコンプライアンスを示すことなく安全でないとマークする退化アウトプットから生じる可能性があるため、難しい。 提案手法は一致した目標効果点において比較され, 主目標基準は, 出力が判定不能かつコヒーレントである場合にのみ有害なコンプライアンスをカウントする。 このプロトコルをGemma-2-9B-itとGemma Scope層-20残基SAEの3つのプロンプト分割に適用すると,SAE特徴アブレーションは狭い有用な機構を持つことがわかった。 SAE Top800は、総摂動率と競争力の低い低中間目標効果に達するが、SAE Top1600は一致した高密度リファレンス指向のベースラインに対して実用性が失われ、SAE Top3200は主にコヒーレンス崩壊を引き起こす。 人間の検査では、コヒーレンスゲーティングは安全でないアーティファクトを除去し、特徴診断は、活性化分離がランクとともに急速に崩壊する断熱した特徴の安定な頭部によって、有用な体制が駆動されることを示している。 これらの結果は,SAEをベースとした安全介入は,一様局所化を前提とせず,体制依存制御機構として評価されるべきであると主張している。

関連論文リスト

• The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs [1.4323566945483497]
  我々は、"拒絶方向"を分離するゼロ最適化フレームワークであるContrastive Logit Steering (CLS)を紹介した。 CLSは出力分布を直接操作し、アライメントの診断プローブとして機能する。 7つのモデルファミリーに関する実験により、安全実装がアーキテクチャ上決定論的であることが判明した。
  論文  参考訳（メタデータ） (2026-06-21T22:04:48Z)
• SAE Interventions are Unreliable: Post-Intervention Recovery of Suppressed Behavior [38.75847400495247]
  スパースオートエンコーダ(SAE)は残ストリームの活性化を解釈可能な特徴に分解する。 特定の有害な特徴をクランプすることで,モデルの誤動作を確実に防止できることが示唆された。 我々は、この脆弱性を、制約付き残空間最適化問題であるポスト・インターベンション・リカバリ(英語版)として定式化する。
  論文  参考訳（メタデータ） (2026-06-16T15:04:17Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection [64.65196237023754]
  Manifold Competence Projectionは、アウト・オブ・ディストリビューションの摂動に対する堅牢性を改善する。 我々は、無限水平安全制約を計算効率の良い単段多様体包含に変換するフレーム-ワイズ安全スキームを用いる。 実験により、CMPは典型的なOODシナリオで最大10倍の生存率向上を達成することが示された。
  論文  参考訳（メタデータ） (2026-04-08T18:00:39Z)
• SFCoT: Safer Chain-of-Thought via Active Safety Evaluation and Calibration [9.8659606914942]
  本稿では,安全性の低い推論ステップを積極的に評価・校正するSaFer Chain-of-Thought(SFCoT)フレームワークを提案する。 実験の結果、SFCoTは攻撃成功率を58.97%から12.31%に引き下げた。
  論文  参考訳（メタデータ） (2026-03-16T15:13:21Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation [13.509767769174422]
  大規模な言語モデルをトレーニングし、有害な要求を拒否するためには、安全性の調整が不可欠である。 Low-Rank Adaptation (LoRA) は、安全ベンチマークにおける完全な微調整と強化学習を一貫して過小評価している。 このギャップに対処するため、SAILS (Safety Alignment via Interpretable Low-rank Subspace)を提案する。
  論文  参考訳（メタデータ） (2025-12-29T07:39:49Z)
• GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering [5.124731939041066]
  大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 グラフ正規化スパースオートエンコーダ (GSAE) を導入し, ニューロン共活性化グラフ上にラプラシアンスムーズネスペナルティを持つSAEを拡張した。 GSAEは, 効果的な安全ステアリング, 特徴を重み付けした安全関連方向に組み立て, 2段階のゲーティング機構で制御できることを実証した。
  論文  参考訳（メタデータ） (2025-12-07T04:46:30Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。