論文の概要: Breaking Bad Tokens: Detoxification of LLMs Using Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2505.14536v1
• Date: Tue, 20 May 2025 15:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.550166
• Title: Breaking Bad Tokens: Detoxification of LLMs Using Sparse Autoencoders
• Title（参考訳）: 悪いトークンを壊す:スパースオートエンコーダを用いたLCMの解毒
• Authors: Agam Goyal, Vedant Rathi, William Yeh, Yian Wang, Yuen Chen, Hari Sundaram,
• Abstract要約: 大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションではユビキタスだが、望ましくない有害な出力を生成する。 我々はスパースオートエンコーダ(SAE)を利用してモデル残差ストリームの毒性関連方向を特定し、ターゲットのアクティベーションステアリングを行う。
• 参考スコア（独自算出の注目度）: 3.6367827664262715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are now ubiquitous in user-facing applications, yet they still generate undesirable toxic outputs, including profanity, vulgarity, and derogatory remarks. Although numerous detoxification methods exist, most apply broad, surface-level fixes and can therefore easily be circumvented by jailbreak attacks. In this paper we leverage sparse autoencoders (SAEs) to identify toxicity-related directions in the residual stream of models and perform targeted activation steering using the corresponding decoder vectors. We introduce three tiers of steering aggressiveness and evaluate them on GPT-2 Small and Gemma-2-2B, revealing trade-offs between toxicity reduction and language fluency. At stronger steering strengths, these causal interventions surpass competitive baselines in reducing toxicity by up to 20%, though fluency can degrade noticeably on GPT-2 Small depending on the aggressiveness. Crucially, standard NLP benchmark scores upon steering remain stable, indicating that the model's knowledge and general abilities are preserved. We further show that feature-splitting in wider SAEs hampers safety interventions, underscoring the importance of disentangled feature learning. Our findings highlight both the promise and the current limitations of SAE-based causal interventions for LLM detoxification, further suggesting practical guidelines for safer language-model deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションではユビキタスになっているが、誇張、下品さ、軽蔑的発言など、望ましくない有害な出力を生成する。 多くの解毒方法が存在するが、ほとんどの場合広範で表面的な修正が適用され、したがってジェイルブレイク攻撃によって容易に回避できる。 本稿では,スパースオートエンコーダ(SAE)を用いてモデル残差ストリームの毒性関連方向を特定し,対応するデコーダベクトルを用いて目標活性化ステアリングを行う。 GPT-2 Small と Gemma-2-2B の3種類のステアリング攻撃性について検討し,毒性低下と言語流速とのトレードオフを明らかにする。 より強力なステアリング強度では、これらの因果的介入は、毒性を最大20%減少させる競争ベースラインを超えるが、攻撃性によってはGPT-2 Smallに顕著に低下する。 重要な点として、ステアリング時の標準NLPベンチマークスコアは安定しており、モデルの知識と一般的な能力が保存されていることを示している。 さらに,より広範囲なSAEにおける特徴分割が安全性を損なうことを示し,非拘束的特徴学習の重要性を浮き彫りにした。 本研究は, LLM脱毒に対するSAEによる因果的介入の約束と現状の限界を強調し, さらに, より安全な言語モデル展開のための実践的ガイドラインを提案する。

関連論文リスト

• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [73.09848497762667]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Representation Bending for Large Language Model Safety [27.842146980762934]
  大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。 本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。 RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
  論文  参考訳（メタデータ） (2025-04-02T09:47:01Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• SafetyAnalyst: Interpretable, transparent, and steerable safety moderation for AI behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 あらゆる有害かつ有益な効果を、完全に解釈可能な重みパラメータを用いて有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
  SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
  論文  参考訳（メタデータ） (2024-10-04T17:45:15Z)
• DESTEIN: Navigating Detoxification of Language Models via Universal Steering Pairs and Head-wise Activation Fusion [16.989349884904943]
  ファインチューニングや補助モデルを含む現在のソリューションは通常、広範な計算資源を必要とする。 本稿では,資源と時間コストの低い活性化空間における表現工学を適用して,LMをデトックス化する新しい手法であるDeSteinを提案する。
  論文  参考訳（メタデータ） (2024-04-16T11:07:48Z)
• Detoxifying Large Language Models via Knowledge Editing [57.0669577257301]
  本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。 我々は、強力な攻撃プロンプトを持つ9つの安全でないカテゴリをカバーするベンチマーク、SafeEditを構築した。 いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T15:18:30Z)
• Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models [26.474136481185724]
  インスタンスレベルのプレフィックス(FGDILP)によるきめ細かいデトックス化は、有害なテキストを余分なコストで軽減する。 FGDILPは、正のプレフィックス予測プロンプトを用いて、注意空間における文脈化された表現と対比する。 我々は、FGDILPが発話レベルと文脈レベルの両方において有害性に関して制御されたテキスト生成を可能にすることを検証した。
  論文  参考訳（メタデータ） (2024-02-23T09:04:48Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。