論文の概要: Toxic Subword Pruning for Dialogue Response Generation on Large Language Models

• arxiv url: http://arxiv.org/abs/2410.04155v1
• Date: Sat, 5 Oct 2024 13:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 13:51:18.592947
• Title: Toxic Subword Pruning for Dialogue Response Generation on Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた対話応答生成のためのトキシックサブワードプルーニング
• Authors: Hongyuan Lu, Wai Lam,
• Abstract要約: toxPrune (textbfToxic Subword textbfPruning) を提案する。 ToxPruneは、明らかに対話応答生成のタスクにおいて、有害言語モデルNSFW-3Bを同時に改善する。
• 参考スコア（独自算出の注目度）: 51.713448010799986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How to defend large language models (LLMs) from generating toxic content is an important research area. Yet, most research focused on various model training techniques to remediate LLMs by updating their weights. A typical related research area is safety alignment. This however is often costly and tedious and can expose the model to even more problems such as catastrophic forgetting if the trainings are not carefully handled by experienced NLP practitioners. We thus propose a simple yet effective and novel algorithm, namely \textbf{Tox}ic Subword \textbf{Prun}ing (ToxPrune) to prune the subword contained by the toxic words from BPE in trained LLMs. In contrast to the previous work that demonstrates pruning BPE tokens as harmful to the task of machine translation, we surprisingly found its usefulness in preventing toxic content from being generated on LLMs. Fortunately, our findings suggest that ToxPrune simultaneously improves the toxic language model NSFW-3B on the task of dialogue response generation obviously. We surprisingly found that ToxPrune can even obviously improve official Llama-3.1-6B in the metric of dialogue diversity. Extensive automatic results and human evaluation indicate that ToxPrune could be helpful for both remediating toxic LLMs and improving non-toxic LLMs on the task of dialogue response generation.\footnote{We plan to release the resources to facilitate future work.}
• Abstract（参考訳）: 大型言語モデル(LLM)を有害なコンテンツの生成から守る方法は重要な研究分野である。 しかし、ほとんどの研究は、重量を更新することでLSMを改善するための様々なモデルトレーニング技術に焦点を当てた。 典型的な研究領域は安全アライメントである。 しかし、これは費用がかかり、面倒なことも多く、経験豊富なNLP実践者がトレーニングを慎重に扱わなければ破滅的なことを忘れてしまうなど、さらに多くの問題にモデルを公開することができる。 そこで我々は,BPEから有毒な単語を含むサブワードを抽出する,単純で効果的かつ斬新なアルゴリズム,すなわち \textbf{Tox}ic Subword \textbf{Prun}ing (ToxPrune)を提案する。 機械翻訳作業に有害なBPEトークンを刈り取る従来の研究とは対照的に, LLM上で有害なコンテンツが発生するのを防ぐのに, 驚くほど有用であることが判明した。 幸いなことに,ToxPruneは,対話応答生成のタスクにおいて,有害言語モデルであるNSFW-3Bを同時に改善することが示唆された。 ToxPruneは明らかに公式のLlama-3.1-6Bを、対話の多様性の指標として改善できることがわかった。 ToxPrune は有害 LLM の修復と非毒性 LLM の改善に有効である可能性が示唆された。 今後の作業を容易にするリソースをリリースする予定です。 ※

関連論文リスト

• Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
  SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
  論文  参考訳（メタデータ） (2024-10-04T17:45:15Z)
• Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem [58.3723958800254]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて非常に効果的である。 それらは幻覚と呼ばれる曖昧な文脈で信頼できない予想を生じさせる可能性がある。 本稿では,不問答語問題(MWP)に基づく質問回答(QA)におけるLLM幻覚評価手法を提案する。
  論文  参考訳（メタデータ） (2024-03-06T09:06:34Z)
• Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models [26.474136481185724]
  インスタンスレベルのプレフィックス(FGDILP)によるきめ細かいデトックス化は、有害なテキストを余分なコストで軽減する。 FGDILPは、正のプレフィックス予測プロンプトを用いて、注意空間における文脈化された表現と対比する。 我々は、FGDILPが発話レベルと文脈レベルの両方において有害性に関して制御されたテキスト生成を可能にすることを検証した。
  論文  参考訳（メタデータ） (2024-02-23T09:04:48Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Systematic Rectification of Language Models via Dead-end Analysis [34.37598463459319]
  大型言語モデル(LLM)は有害な談話を生成するためにプッシュされる。 ここでは、完了した談話が最終的に有毒と考えられる確率について、デトックス化を中心とする。 我々の手法は整流化と呼ばれ、別個のモデルを用いるが、デトキシ化には著しく小さいモデルを用いる。
  論文  参考訳（メタデータ） (2023-02-27T17:47:53Z)
• Leashing the Inner Demons: Self-Detoxification for Language Models [13.576289320208511]
  言語モデル(LM)は、トレーニング中に見られる有害な言語を再現(または増幅)することができる。 我々は、プロンプト、復号化戦略、学習コーパスが出力に与える影響を分析する。 本稿では,言語モデルに対して,新たな大きなコーパスや外部識別器を使わずに「デトックス化」を行うための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-06T23:55:12Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。