論文の概要: Understanding Refusal in Language Models with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2505.23556v1
• Date: Thu, 29 May 2025 15:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.943834
• Title: Understanding Refusal in Language Models with Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダを用いた言語モデルの拒絶理解
• Authors: Wei Jie Yeo, Nirmalendu Prakash, Clement Neo, Roy Ka-Wei Lee, Erik Cambria, Ranjan Satapathy,
• Abstract要約: 我々はスパースオートエンコーダを用いて、拒絶動作を因果的に仲介する潜伏特徴を特定する。 我々は、世代への影響を評価するために、拒絶に関連する特徴に介入する。 これにより、アクティベーションレベルでのリファインダーの表示方法のきめ細かい検査が可能になる。
• 参考スコア（独自算出の注目度）: 27.212781538459588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Refusal is a key safety behavior in aligned language models, yet the internal mechanisms driving refusals remain opaque. In this work, we conduct a mechanistic study of refusal in instruction-tuned LLMs using sparse autoencoders to identify latent features that causally mediate refusal behaviors. We apply our method to two open-source chat models and intervene on refusal-related features to assess their influence on generation, validating their behavioral impact across multiple harmful datasets. This enables a fine-grained inspection of how refusal manifests at the activation level and addresses key research questions such as investigating upstream-downstream latent relationship and understanding the mechanisms of adversarial jailbreaking techniques. We also establish the usefulness of refusal features in enhancing generalization for linear probes to out-of-distribution adversarial samples in classification tasks. We open source our code in https://github.com/wj210/refusal_sae.
• Abstract（参考訳）: Refusalは、整列言語モデルにおいて重要な安全行動であるが、Refusalを駆動する内部メカニズムは不透明である。 本研究では、スパースオートエンコーダを用いた命令調整LDMにおける拒絶動作の機械論的研究を行い、拒絶動作を因果的に仲介する潜時特徴を同定する。 提案手法を2つのオープンソースチャットモデルに適用し,拒絶関連機能に介入して生成への影響を評価し,有害な複数のデータセットにまたがる行動への影響を検証した。 これにより、アクティベーションレベルでの拒絶がどのように現れるのかをきめ細かい検査が可能となり、上流と下流の潜伏関係の調査や、敵のジェイルブレイク手法のメカニズムの理解など、重要な研究課題に対処することができる。 また、線形プローブの分類タスクにおける分布外逆サンプルへの一般化を促進するための拒絶特徴の有用性を確立した。 ソースコードはhttps://github.com/wj210/refusal_sae.comで公開しています。

関連論文リスト

• Feature-Aware Malicious Output Detection and Mitigation [8.378272216429954]
  有害反応拒絶(FMM)のための特徴認識手法を提案する。 FMMは、モデルの特徴空間内に悪意のある特徴が存在することを検知し、モデルの拒絶機構を適応的に調整する。 実験により,複数の言語モデルと多様な攻撃手法を用いたアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2025-04-12T12:12:51Z)
• Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems [0.0]
  言語モデルが検出を回避した誤認的な説明を生成できることを示す。 我々のエージェントは、一見無邪気な説明で情報を隠蔽するために、ステガノグラフィー手法を使っている。 試験された全てのLSMエージェントは、基準ラベルに匹敵する高い解釈可能性のスコアを達成しつつ、監督者を欺くことができる。
  論文  参考訳（メタデータ） (2025-04-10T15:07:10Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Steering Language Model Refusal with Sparse Autoencoders [16.304363931580273]
  この研究は、SAEステアリングに基づく安全改善と一般的なモデル機能との緊張関係を明らかにする。 本研究は,言語モデルにおける安全関連機能の性質に関する重要なオープンな疑問を明らかにするものである。
  論文  参考訳（メタデータ） (2024-11-18T05:47:02Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。 我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification [22.078088272837068]
  フェデレートラーニング(FL)システムは、モデル中毒やバックドア攻撃などの敵攻撃に対して脆弱である。 本研究では,実用FLシナリオに特化して設計された新しい異常検出手法を提案する。 本手法では,2段階の条件付き検出機構を用いる。
  論文  参考訳（メタデータ） (2023-10-06T07:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。