論文の概要: Safety Alignment via Constrained Knowledge Unlearning

• arxiv url: http://arxiv.org/abs/2505.18588v1
• Date: Sat, 24 May 2025 08:29:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.525751
• Title: Safety Alignment via Constrained Knowledge Unlearning
• Title（参考訳）: 制約付き知識アンラーニングによる安全アライメント
• Authors: Zesheng Shi, Yucheng Zhou, Jing Li,
• Abstract要約: 我々は、新しい安全アライメント戦略、制約付き知識アンラーニング(CKU)を提案する。 CKUは、知識のローカライゼーションと保持、有害な知識の学習の2つの主な目的に焦点を当てている。 実験の結果,CKUは全体の性能を損なうことなくモデル安全性を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 11.225354394106226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in safety alignment, large language models (LLMs) remain susceptible to jailbreak attacks. Existing defense mechanisms have not fully deleted harmful knowledge in LLMs, which allows such attacks to bypass safeguards and produce harmful outputs. To address this challenge, we propose a novel safety alignment strategy, Constrained Knowledge Unlearning (CKU), which focuses on two primary objectives: knowledge localization and retention, and unlearning harmful knowledge. CKU works by scoring neurons in specific multilayer perceptron (MLP) layers to identify a subset U of neurons associated with useful knowledge. During the unlearning process, CKU prunes the gradients of neurons in U to preserve valuable knowledge while effectively mitigating harmful content. Experimental results demonstrate that CKU significantly enhances model safety without compromising overall performance, offering a superior balance between safety and utility compared to existing methods. Additionally, our analysis of neuron knowledge sensitivity across various MLP layers provides valuable insights into the mechanics of safety alignment and model knowledge editing.
• Abstract（参考訳）: 安全アライメントの大幅な進歩にもかかわらず、大きな言語モデル(LLM)はジェイルブレイク攻撃の影響を受けやすいままである。 既存の防衛機構はLLMの有害な知識を完全に削除していないため、そのような攻撃は安全を回避し、有害な出力を生成することができる。 この課題に対処するために、知識の局所化と保持、有害な知識の未学習という2つの主要な目的に焦点を当てた、新しい安全アライメント戦略である、制約付き知識学習(CKU)を提案する。 CKUは、有用な知識に関連するニューロンのサブセットUを特定するために、特定の多層パーセプトロン(MLP)層でニューロンをスコアリングすることで機能する。 未学習の過程で、CKUはUニューロンの勾配を抜いて貴重な知識を保持し、有害な内容を効果的に緩和する。 実験の結果,CKUは全体の性能を損なうことなくモデル安全性を著しく向上し,既存の手法に比べて安全性と実用性とのバランスが良好であることがわかった。 さらに、様々なMLP層にわたるニューロン知識の感度分析は、安全アライメントとモデル知識編集のメカニズムに関する貴重な洞察を提供する。

関連論文リスト

• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• NeuRel-Attack: Neuron Relearning for Safety Disalignment in Large Language Models [14.630626774362606]
  大型言語モデル(LLM)の安全性アライメントは、有害な内容を抑えるためにニューロンの活性化を調節する微調整機構によって達成される。 本稿では,安全性の制約を負うニューロンを同定し,修正することにより,不整合を誘導する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-29T05:49:35Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
  特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
  論文  参考訳（メタデータ） (2025-01-09T03:59:10Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Towards Safer Large Language Models through Machine Unlearning [19.698620794387338]
  SKU(Selective Knowledge Unlearning)は、有害な知識を排除し、通常のプロンプトで実用性を維持するために設計されている。 第1段階は、モデル内の有害な知識を特定し、取得することを目的としており、第2段階は、この知識を取り除くことを目的としている。 本実験は,有害情報除去と有効性維持のバランス点をSKUが特定できることを実証した。
  論文  参考訳（メタデータ） (2024-02-15T16:28:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。