論文の概要: Beyond Toxic Neurons: A Mechanistic Analysis of DPO for Toxicity Reduction

• arxiv url: http://arxiv.org/abs/2411.06424v2
• Date: Fri, 13 Dec 2024 22:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:27.932713
• Title: Beyond Toxic Neurons: A Mechanistic Analysis of DPO for Toxicity Reduction
• Title（参考訳）: 毒性ニューロンを越えてのDPOによる毒性低下機構の解析
• Authors: Yushi Yang, Filip Sondej, Harry Mayne, Adam Mahdi,
• Abstract要約: 安全微調整アルゴリズムは、言語モデルにおける有害な出力を減らすために広く用いられている。 現在の説明では、DPOは毒性ニューロンの活性化を抑えることでこれを達成している。 本研究は,安全性向上が言語モデルにおける有害なアウトプットをいかに減少させるか,新しい力学的知見を提供する。
• 参考スコア（独自算出の注目度）: 0.562479170374811
• License:
• Abstract: Safety fine-tuning algorithms are widely used to reduce harmful outputs in language models, but how they achieve this remain unclear. Studying the Direct Preference Optimization (DPO) algorithm for toxicity reduction, current explanations claim that DPO achieves this by dampening the activations of toxic MLP neurons. However, through activation patching, we show that this explanation is incomplete. Projections onto a toxicity probe's direction show that only 4.9% of toxicity reduction comes from dampened toxic neurons. Instead, DPO reduces toxicity through distributed activation shifts across a majority of neurons, progressively shifting MLP layer outputs away from toxicity. These shifts accumulate across four neuron groups: two reducing toxicity and two promoting anti-toxicity. Activation patching validates the cumulative roles of these groups, where patching all identified groups effectively replicates DPO's effects. These findings illustrate DPO's mechanism: it reduces toxicity by accumulating small activation shifts across many neurons throughout the layers. Our findings provide new mechanistic insights into how safety fine-tuning reduces harmful outputs in language models.
• Abstract（参考訳）: 安全微調整アルゴリズムは、言語モデルにおける有害な出力を減らすために広く使われているが、どのようにしてこれを達成したのかは定かではない。 毒性低減のための直接選好最適化(DPO)アルゴリズムについて、現在の説明では、DPOは有毒なMLPニューロンの活性化を抑えることでこれを達成できると主張している。 しかし、アクティベーションパッチにより、この説明は不完全であることを示す。 毒性プローブの方向への投射は、毒性の減少のわずか4.9%が毒性ニューロンの減衰によるものであることを示している。 代わりに、DPOは、ほとんどの神経細胞の分散活性化シフトを通じて毒性を減少させ、MLP層の出力を毒性から徐々にシフトさせる。 これらのシフトは4つのニューロン群にまたがって蓄積する: 2つの毒性を減少させ、2つの抗毒性を促進させる。 活性化パッチングはこれらのグループの累積的な役割を検証し、特定された全てのグループをパッチングすることでDPOの効果を効果的に再現する。 これらの結果は、DPOのメカニズムが示されており、層全体にわたって小さな活性化シフトを蓄積することで毒性を減少させる。 本研究は,安全性向上が言語モデルにおける有害なアウトプットをいかに減少させるか,新しい力学的知見を提供する。

関連論文リスト

• Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
  SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
  論文  参考訳（メタデータ） (2024-10-04T17:45:15Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。 我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• Towards Building a Robust Toxicity Predictor [13.162016701556725]
  本稿では, 有害なテキストサンプルを良性として予測するために, SOTAテキスト分類器に小さな単語レベルの摂動を導入し, 新たな逆攻撃であるtexttToxicTrapを提案する。 2つの新しい目標関数の設計により、ToxicTrapはマルチクラスおよびマルチラベルの有害言語検知器の弱点を特定することができる。
  論文  参考訳（メタデータ） (2024-04-09T22:56:05Z)
• Detoxifying Large Language Models via Knowledge Editing [57.0669577257301]
  本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。 我々は、強力な攻撃プロンプトを持つ9つの安全でないカテゴリをカバーするベンチマーク、SafeEditを構築した。 いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T15:18:30Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)
• Challenges in Detoxifying Language Models [44.48396735574315]
  大規模言語モデル(LM)は極めて流動的なテキストを生成し、NLPタスクに効率よく適応できる。 安全性の観点から生成したテキストの品質の測定と保証は、実世界におけるLMのデプロイに不可欠である。 我々は, 自動評価と人的評価の両方に関して, いくつかの毒性軽減戦略を評価した。
  論文  参考訳（メタデータ） (2021-09-15T17:27:06Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。