論文の概要: RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models

• arxiv url: http://arxiv.org/abs/2009.11462v2
• Date: Fri, 25 Sep 2020 20:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:50:54.392391
• Title: RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models
• Title（参考訳）: realtoxicityprompts:言語モデルにおける神経毒性変性の評価
• Authors: Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, Noah A. Smith
• Abstract要約: 事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
• 参考スコア（独自算出の注目度）: 93.151822563361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained neural language models (LMs) are prone to generating racist, sexist, or otherwise toxic language which hinders their safe deployment. We investigate the extent to which pretrained LMs can be prompted to generate toxic language, and the effectiveness of controllable text generation algorithms at preventing such toxic degeneration. We create and release RealToxicityPrompts, a dataset of 100K naturally occurring, sentence-level prompts derived from a large corpus of English web text, paired with toxicity scores from a widely-used toxicity classifier. Using RealToxicityPrompts, we find that pretrained LMs can degenerate into toxic text even from seemingly innocuous prompts. We empirically assess several controllable generation methods, and find that while data- or compute-intensive methods (e.g., adaptive pretraining on non-toxic data) are more effective at steering away from toxicity than simpler solutions (e.g., banning "bad" words), no current method is failsafe against neural toxic degeneration. To pinpoint the potential cause of such persistent toxic degeneration, we analyze two web text corpora used to pretrain several LMs (including GPT-2; Radford et. al, 2019), and find a significant amount of offensive, factually unreliable, and otherwise toxic content. Our work provides a test bed for evaluating toxic generations by LMs and stresses the need for better data selection processes for pretraining.
• Abstract（参考訳）: 事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、セクシスト、その他の有害な言語を生成する傾向がある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。 英文 web テキストの大規模なコーパスから派生した文レベルのプロンプトを,広く使用されている毒性分類器の毒性スコアと組み合わせて,100kの自然発生のデータセットである realtoxicityprompts を作成し,公開する。 realtoxicity promptsを使って、トレーニング済みのlmsは一見無害なプロンプトからでも有害なテキストに変形する。 複数の制御可能な生成法を実証的に評価し、データまたは計算集約型手法(例えば、非毒性データに対する適応的事前訓練)がより単純な解(例えば「悪い」語を禁止する)よりも毒性から逃げるのに効果的であるのに対し、現在の方法が神経毒性変性に対してフェイルセーフではないことを発見した。 このような有害な変性の潜在的な原因を特定するために、いくつかのLM(GPT-2、Radford et. al, 2019)を事前訓練するために使用される2つのウェブテキストコーパスを分析し、かなりの量の攻撃的、事実上信頼できない、その他の有害な内容を見つける。 lmsによる有害な世代を評価するためのテストベッドを提供し、事前トレーニングのためのより良いデータ選択プロセスの必要性を強調します。

関連論文リスト

• Toxic Subword Pruning for Dialogue Response Generation on Large Language Models [51.713448010799986]
  toxPrune (textbfToxic Subword textbfPruning) を提案する。 ToxPruneは、明らかに対話応答生成のタスクにおいて、有害言語モデルNSFW-3Bを同時に改善する。
  論文  参考訳（メタデータ） (2024-10-05T13:30:33Z)
• Mitigating Text Toxicity with Counterfactual Generation [0.3250512744763586]
  毒性の軽減は、有害な意味を取り除くためにテキストを言い換えることである。 現在のメソッドは、最初の非有毒な意味を保ちながら、テキストをデトックスすることができない。 この研究は、カウンターファクト生成とテキストのデトックス化のギャップを埋める最初のものである。
  論文  参考訳（メタデータ） (2024-05-16T09:52:21Z)
• PolygloToxicityPrompts: Multilingual Evaluation of Neural Toxic Degeneration in Large Language Models [27.996123856250065]
  既存の毒性ベンチマークは圧倒的に英語に焦点を当てている。 PTP(PolygloToxicity Prompts)は、17言語にまたがる自然発生プロンプト425Kの大規模多言語毒性評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-05-15T14:22:33Z)
• Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models [26.474136481185724]
  インスタンスレベルのプレフィックス(FGDILP)によるきめ細かいデトックス化は、有害なテキストを余分なコストで軽減する。 FGDILPは、正のプレフィックス予測プロンプトを用いて、注意空間における文脈化された表現と対比する。 我々は、FGDILPが発話レベルと文脈レベルの両方において有害性に関して制御されたテキスト生成を可能にすることを検証した。
  論文  参考訳（メタデータ） (2024-02-23T09:04:48Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)
• Detoxifying Text with MaRCo: Controllable Revision with Experts and Anti-Experts [57.38912708076231]
  本稿では,制御可能な生成法とテキスト書き直し法を組み合わせた解毒アルゴリズムMARCoを紹介する。 MaRCoは、毒性のないLMと毒性のあるLMの下の可能性を利用して、マスクすべき候補単語を見つけ、置換する可能性がある。 我々は,いくつかの微妙な毒性とマイクロアグレスデータセットについて評価し,自動測定値の基準値を上回るだけでなく,MARCoの書き直しは人間による評価で2.1ドル以上好まれることを示した。
  論文  参考訳（メタデータ） (2022-12-20T18:50:00Z)
• Leashing the Inner Demons: Self-Detoxification for Language Models [13.576289320208511]
  言語モデル(LM)は、トレーニング中に見られる有害な言語を再現(または増幅)することができる。 我々は、プロンプト、復号化戦略、学習コーパスが出力に与える影響を分析する。 本稿では,言語モデルに対して,新たな大きなコーパスや外部識別器を使わずに「デトックス化」を行うための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-06T23:55:12Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。