論文の概要: Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation

• arxiv url: http://arxiv.org/abs/2512.23260v2
• Date: Mon, 05 Jan 2026 13:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 14:31:43.656741
• Title: Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
• Title（参考訳）: SAE-Constructed Low-Rank Subspace Adaptation による解釈可能な安全アライメント
• Authors: Dianyun Wang, Qingsen Ma, Yuhu Shang, Zhifeng Lu, Zhenbo Xu, Lechen Ning, Huijia Wu, Zhaofeng He,
• Abstract要約: 大規模な言語モデルをトレーニングし、有害な要求を拒否するためには、安全性の調整が不可欠である。 Low-Rank Adaptation (LoRA) は、安全ベンチマークにおける完全な微調整と強化学習を一貫して過小評価している。 このギャップに対処するため、SAILS (Safety Alignment via Interpretable Low-rank Subspace)を提案する。
• 参考スコア（独自算出の注目度）: 13.509767769174422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety alignment -- training large language models (LLMs) to refuse harmful requests while remaining helpful -- is critical for responsible deployment. Prior work established that safety behaviors are governed by low-rank structures, suggesting parameter-efficient fine-tuning (PEFT) should be well-suited for alignment. However, Low-Rank Adaptation (LoRA) consistently underperforms full fine-tuning and reinforcement learning on safety benchmarks. We attribute this gap to semantic entanglement: safety-relevant directions are intertwined with unrelated concepts due to polysemanticity, impeding implicit subspace identification. To address this, we propose SAILS (Safety Alignment via Interpretable Low-rank Subspace), which leverages Sparse Autoencoders (SAEs) to disentangle representations into monosemantic features, constructs an interpretable safety subspace from SAE decoder directions, and uses it to initialize LoRA adapters. Theoretically, we prove that SAE-based identification achieves arbitrarily small recovery error under monosemanticity assumptions, while direct identification suffers an irreducible error floor. Empirically, SAILS achieves up to 99.6% safety rate on Gemma-2-9B -- exceeding full fine-tuning by 7.4 points and matching RLHF-based models -- while updating only 0.19% of parameters and providing interpretability.
• Abstract（参考訳）: 安全アライメント -- 大きな言語モデル(LLM)をトレーニングして、有害な要求を拒否し、役に立ち続ける — は、責任あるデプロイメントに不可欠である。 これまでの研究では、安全行動は低ランク構造で管理されており、パラメータ効率の細かい調整(PEFT)はアライメントに適していることが示唆されていた。 しかし、ローランド適応(LoRA)は、安全ベンチマークの完全な微調整と強化学習を一貫して不十分にしている。 このギャップは意味的絡み合いに起因しており、安全関連方向は多意味性によって非関係な概念と絡み合っており、暗黙的な部分空間識別を妨げる。 そこで本研究では,SAILS (Safety Alignment via Interpretable Low-rank Subspace) を提案する。Sparse Autoencoders (SAEs) を利用して表現をモノセマンティックな特徴に分解し,SAEデコーダ方向から解釈可能な安全部分空間を構築し,LoRAアダプタを初期化する。 理論的には、SAEに基づく識別は単行性仮定の下で任意に小さな回復誤差を達成でき、一方、直接識別は既約誤差フロアに悩まされる。 SAILSは、Gemma-2-9Bで最大99.6%の安全性を達成し、完全な微調整を7.4ポイント越え、RLHFベースのモデルにマッチする。

関連論文リスト

• LSSF: Safety Alignment for Large Language Models through Low-Rank Safety Subspace Fusion [16.434293020863592]
  大きな言語モデル(LLM)の安全性メカニズムは、有害なコンテンツのないデータセットの微調整でさえも、その安全性能力を損なう可能性があるため、顕著な脆弱性を示す。 LSSF, underline-Rank underlineSafety underlineSubspace underlineFusion。 提案手法は,低ランクプロジェクション行列の構築により,LLMの安全性情報の低ランク特性を利用する。
  論文  参考訳（メタデータ） (2026-01-19T03:59:12Z)
• GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering [5.124731939041066]
  大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 グラフ正規化スパースオートエンコーダ (GSAE) を導入し, ニューロン共活性化グラフ上にラプラシアンスムーズネスペナルティを持つSAEを拡張した。 GSAEは, 効果的な安全ステアリング, 特徴を重み付けした安全関連方向に組み立て, 2段階のゲーティング機構で制御できることを実証した。
  論文  参考訳（メタデータ） (2025-12-07T04:46:30Z)
• SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge [51.634837361795434]
  SaFeR-CLIPは安全性と性能を調整し、以前の方法に比べて最大8.0%のゼロショット精度を回復する。 NSFW-Capsは、分散シフト下での安全性をテストするために、1000の高度に整合したペアの新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-11-20T19:00:15Z)
• RepV: Safety-Separable Latent Spaces for Scalable Neurosymbolic Plan Verification [17.66826792670962]
  本稿では,安全かつ安全でない計画が線形に分離可能な潜在空間を学習することで,両視点を統一するニューロシンボリック検証器RepVを紹介する。 RepVは軽量なプロジェクタを訓練し、各プランと言語モデル生成の理論的根拠を低次元空間に組み込む。 RepVは、潜伏空間における位置に基づいて正しい検証の可能性を確率論的に保証する。
  論文  参考訳（メタデータ） (2025-10-30T18:46:34Z)
• A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space [91.99501941169831]
  GuardSpaceは、微調整全体を通して安全アライメントを維持するためのガードレールフレームワークである。 GSM8Kで微調整されたLlama-2-7B-Chatでは、ガードスペースは最先端のAsFTよりも優れている。
  論文  参考訳（メタデータ） (2025-10-16T04:57:53Z)
• Turning the Spell Around: Lightweight Alignment Amplification via Rank-One Safety Injection [47.347413305965006]
  大規模言語モデル(LLM)における安全性の整合性は、しばしば有害な要求を拒否するために内部表現を仲介する。 近年の研究では、これらの安全メカニズムは特定の表現方向を非難したり削除したりすることで回避可能であることが示されている。 そこで本研究では,リファレンシャル・メディア・サブスペースへのアクティベーションを永久に操り,モデルの安全アライメントを向上する手法であるランクワン・セーフティ・インジェクション(ROSI)を提案する。
  論文  参考訳（メタデータ） (2025-08-28T13:22:33Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
  Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
  論文  参考訳（メタデータ） (2025-06-18T16:30:02Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Model Unlearning via Sparse Autoencoder Subspace Guided Projections [34.47648738350138]
  大きな言語モデル(LLM)は大量の情報を格納するので、強力なプライバシと安全性の懸念が高まる。 グラデーションベースの微調整やモデル編集からスパースオートエンコーダのステアリングまで、既存の未学習戦略は解釈性に欠けるか、敵のプロンプトに対して堅牢な防御を提供しない。 我々は,SAE機能を活用した新たなフレームワークであるSAE-Guided Subspace Projection Unlearning (SSPU)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T10:07:52Z)
• Separate the Wheat from the Chaff: A Post-Hoc Approach to Safety Re-Alignment for Fine-Tuned Language Models [30.93821289892195]
  IRR (Identify, Remove, and Recalibrate for Safety Realignment) を提案する。 IRRの中核は、保持されたパラメータを再調整しながら、微調整されたモデルから安全でないデルタパラメータを特定し、除去することである。 この結果から,IRRは有害なクエリやジェイルブレイク攻撃などの安全性ベンチマークにおいて,微調整モデルの安全性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-12-15T03:58:38Z)
• Superficial Safety Alignment Hypothesis [15.215130286922564]
  本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択することを示唆する,表層安全アライメント仮説(SSAH)を提案する。 属性クリティカルなコンポーネントは,安全性クリティカルユニット(SCU),ユーティリティクリティカルユニット(UCU),コンプレックスユニット(CU),冗長ユニット(RU)の4種類に分類する。 実験結果から, 微調整中に特定の安全クリティカル成分を凍結することで, 新たな作業に適応しながら, 安全性特性を維持できることが判明した。
  論文  参考訳（メタデータ） (2024-10-07T19:53:35Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。