論文の概要: SAFER: Probing Safety in Reward Models with Sparse Autoencoder

• arxiv url: http://arxiv.org/abs/2507.00665v1
• Date: Tue, 01 Jul 2025 11:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.589987
• Title: SAFER: Probing Safety in Reward Models with Sparse Autoencoder
• Title（参考訳）: SAFER:スパースオートエンコーダを用いたリワードモデルにおける安全性の検証
• Authors: Sihang Li, Wei Shi, Ziyuan Xie, Tao Liang, Guojun Ma, Xiang Wang,
• Abstract要約: 拡張リワードモデル(textbfSAFER)のためのスパースオートエンコーダを提案する。 我々は、報酬モデルアクティベーションにおける人間解釈可能な特徴を明らかにし、安全関連意思決定の洞察を可能にする。 実験の結果、SAFERは最小限のデータ修正で精度を低下させるか、安全アライメントを強化することができる。
• 参考スコア（独自算出の注目度）: 15.804171763844323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from human feedback (RLHF) is a key paradigm for aligning large language models (LLMs) with human values, yet the reward models at its core remain largely opaque. In this work, we present sparse Autoencoder For Enhanced Reward model (\textbf{SAFER}), a novel framework for interpreting and improving reward models through mechanistic analysis. Leveraging Sparse Autoencoders (SAEs), we uncover human-interpretable features in reward model activations, enabling insight into safety-relevant decision-making. We apply SAFER to safety-oriented preference datasets and quantify the salience of individual features by activation differences between chosen and rejected responses. Using these feature-level signals, we design targeted data poisoning and denoising strategies. Experiments show that SAFER can precisely degrade or enhance safety alignment with minimal data modification, without sacrificing general chat performance. Our approach contributes to interpreting, auditing and refining reward models in high-stakes LLM alignment tasks. Our codes are available at https://github.com/xzy-101/SAFER-code. \textit{This paper discusses topics related to large language model safety and may include discussions or examples that highlight potential risks or unsafe outcomes.}
• Abstract（参考訳）: 人間のフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)と人間の価値を合わせるための重要なパラダイムであるが、その中核にある報酬モデルはほとんど不透明である。 本稿では,機械的解析により報酬モデルの解釈と改善を行う新しいフレームワークである,Sparse Autoencoder For Enhanced Reward Model(\textbf{SAFER})を提案する。 スパースオートエンコーダ(SAE)を活用して、報酬モデルアクティベーションにおける人間解釈可能な特徴を明らかにし、安全関連意思決定の洞察を可能にする。 安全指向の嗜好データセットにSAFERを適用し、選択された応答と拒否された応答のアクティベーション差によって個々の特徴の塩分濃度を定量化する。 これらの特徴レベルの信号を用いて、ターゲットとするデータ中毒と認知戦略を設計する。 実験により、SAFERは一般的なチャット性能を犠牲にすることなく、最小限のデータ修正による安全性の低下や安全性の向上を図っている。 提案手法は,LLMアライメントタスクにおける報酬モデルの解釈,監査,精算に寄与する。 私たちのコードはhttps://github.com/xzy-101/SAFER-code.comで利用可能です。 この論文は、大きな言語モデルの安全性に関連するトピックについて論じ、潜在的なリスクや安全でない結果を強調する議論や事例を含むかもしれない。 ※

関連論文リスト

• ReGA: Representation-Guided Abstraction for Model-based Safeguarding of LLMs [0.9285458070502282]
  大きな言語モデル(LLM)は様々なタスクで大きな成功を収めていますが、安全性とセキュリティに関する懸念が生まれています。 機械学習モデルを解析し、監視するために、モデルに基づく分析は、ステートフルなディープニューラルネットワークにおいて顕著な可能性を示している。 本稿では,表現誘導抽象化を用いたモデルベース分析フレームワークReGAを提案し,LLMを有害なプロンプトや世代に対して保護する。
  論文  参考訳（メタデータ） (2025-06-02T15:17:38Z)
• Shape it Up! Restoring LLM Safety during Finetuning [66.46166656543761]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Safe to Serve: Aligning Instruction-Tuned Models for Safety and Helpfulness [0.0]
  大規模言語モデル (LLM) は複雑な推論やテキスト生成において顕著な能力を示した。 LLMは、問題のある入力を誘導すると、不安全または偏りの応答を不注意に生成することができる。 本研究は、有用なコンテンツと無害コンテンツの両方を生成する言語モデルを開発する上で、重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-11-26T06:52:22Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models? [2.089112028396727]
  本研究では,大規模言語モデルが知識や理解を犠牲にすることなく,安全でバイアスのないアウトプットを生成できるかどうかを考察する。 Safe and Responsible Large Language Model (textbfSR$_textLLM$)を紹介する。 textbfSR$_textLLM$は知識の整合性を保ちながらバイアスを効果的に軽減する。
  論文  参考訳（メタデータ） (2024-04-01T18:10:05Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。