論文の概要: Detoxifying Large Language Models via Knowledge Editing

• arxiv url: http://arxiv.org/abs/2403.14472v5
• Date: Tue, 28 May 2024 09:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 00:59:19.211118
• Title: Detoxifying Large Language Models via Knowledge Editing
• Title（参考訳）: 知識編集による大規模言語モデルのデトックス化
• Authors: Mengru Wang, Ningyu Zhang, Ziwen Xu, Zekun Xi, Shumin Deng, Yunzhi Yao, Qishen Zhang, Linyi Yang, Jindong Wang, Huajun Chen,
• Abstract要約: 本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。 我々は、強力な攻撃プロンプトを持つ9つの安全でないカテゴリをカバーするベンチマーク、SafeEditを構築した。 いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。
• 参考スコア（独自算出の注目度）: 57.0669577257301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates using knowledge editing techniques to detoxify Large Language Models (LLMs). We construct a benchmark, SafeEdit, which covers nine unsafe categories with various powerful attack prompts and equips comprehensive metrics for systematic evaluation. We conduct experiments with several knowledge editing approaches, indicating that knowledge editing has the potential to detoxify LLMs with a limited impact on general performance efficiently. Then, we propose a simple yet effective baseline, dubbed Detoxifying with Intraoperative Neural Monitoring (DINM), to diminish the toxicity of LLMs within a few tuning steps via only one instance. We further provide an in-depth analysis of the internal mechanism for various detoxifying approaches, demonstrating that previous methods like SFT and DPO may merely suppress the activations of toxic parameters, while DINM mitigates the toxicity of the toxic parameters to a certain extent, making permanent adjustments. We hope that these insights could shed light on future work of developing detoxifying approaches and the underlying knowledge mechanisms of LLMs. Code and benchmark are available at https://github.com/zjunlp/EasyEdit.
• Abstract（参考訳）: 本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。 我々は、安全でない9つのカテゴリを様々な強力なアタックプロンプトでカバーし、体系的な評価のために総合的なメトリクスを装備するベンチマーク、SafeEditを構築した。 いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。 そこで我々は,DINM(Detoxifying with intraoperative Neural Monitoring)と呼ばれるシンプルなベースラインを提案する。 さらに, 従来のSFT法やDPO法は毒性パラメータの活性化を抑制するだけであり, DINM法は毒性パラメータの毒性をある程度軽減し, 恒久的な調整を行うことを実証した。 これらの知見が,LSMの非毒性化アプローチと基盤となる知識メカニズムの今後の研究に光を当てることが期待できる。 コードとベンチマークはhttps://github.com/zjunlp/EasyEdit.comで公開されている。

関連論文リスト

• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  大言語モデル(LLM)は、ジェネラリストアシスタントとして大きな可能性を示している。 これらのモデルは、非毒性や脱獄の試みに対するレジリエンスなど、望ましい行動特性を示すことが重要である。 本稿では,パラメータの小さなサブセットを直接編集することで,LLMの特定の振る舞いを効果的に調節できることを観察する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• Realistic Evaluation of Toxicity in Large Language Models [28.580995165272086]
  大規模言語モデル(LLM)は、私たちの専門的および日常生活に不可欠なものになっています。 膨大な量のデータに膨大な多様な知識を与えると、避けられない毒性と偏見に晒される。 本稿では,手作業によるプロンプトを含むToroughly Engineered Toxicityデータセットを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T09:42:59Z)
• DESTEIN: Navigating Detoxification of Language Models via Universal Steering Pairs and Head-wise Activation Fusion [16.989349884904943]
  本稿では,言語モデルをデトキシフィケーションする新しい手法であるDeSteinを提案する。 自己誘導型ステアリングペアを用いてデトックス化ベクトルを同定する。 推論中、デトキシフィケーションベクトルと元の表現をブレンドすることでデトキシフィケーションが達成される。
  論文  参考訳（メタデータ） (2024-04-16T11:07:48Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Self-Detoxifying Language Models via Toxification Reversal [11.238212967733165]
  言語モデル解毒は、事前訓練された言語モデル(PLM)において、攻撃的または有害なコンテンツを生成するリスクを最小限にすることを目的としている。 我々は PLM 自体が "自己退化" を実現するための,より軽量なアプローチを提案する。 本手法は, 負のステアリングプロンプトを前処理することでPLMを効果的に誘導し, 有害な物質を生成できるという観察に基づいて構築された。
  論文  参考訳（メタデータ） (2023-10-14T12:51:38Z)
• Detoxifying Text with MaRCo: Controllable Revision with Experts and Anti-Experts [57.38912708076231]
  本稿では,制御可能な生成法とテキスト書き直し法を組み合わせた解毒アルゴリズムMARCoを紹介する。 MaRCoは、毒性のないLMと毒性のあるLMの下の可能性を利用して、マスクすべき候補単語を見つけ、置換する可能性がある。 我々は,いくつかの微妙な毒性とマイクロアグレスデータセットについて評価し,自動測定値の基準値を上回るだけでなく,MARCoの書き直しは人間による評価で2.1ドル以上好まれることを示した。
  論文  参考訳（メタデータ） (2022-12-20T18:50:00Z)
• Leashing the Inner Demons: Self-Detoxification for Language Models [13.576289320208511]
  言語モデル(LM)は、トレーニング中に見られる有害な言語を再現(または増幅)することができる。 我々は、プロンプト、復号化戦略、学習コーパスが出力に与える影響を分析する。 本稿では,言語モデルに対して,新たな大きなコーパスや外部識別器を使わずに「デトックス化」を行うための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-06T23:55:12Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。