論文の概要: Reward Modeling for Mitigating Toxicity in Transformer-based Language Models

• arxiv url: http://arxiv.org/abs/2202.09662v2
• Date: Tue, 22 Feb 2022 20:20:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-26 11:07:46.486855
• Title: Reward Modeling for Mitigating Toxicity in Transformer-based Language Models
• Title（参考訳）: トランスフォーマーに基づく言語モデルにおける毒性の緩和のためのリワードモデリング
• Authors: Farshid Faal and Ketra Schmitt
• Abstract要約: トランスフォーマーベースの言語モデルでは、流動的なテキストを生成し、さまざまな自然言語生成タスクに効率よく適応することができる。 大規模未ラベルのウェブテキストコーパスで事前訓練された言語モデルは、有害な内容の変性や社会的偏見の振る舞いに悩まされていることが示されている。 言語モデルにおける毒性を緩和する強化学習に基づく手法であるReinforce-Detoxifyを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models are able to generate fluent text and be efficiently adapted across various natural language generation tasks. However, language models that are pretrained on large unlabeled web text corpora have been shown to suffer from degenerating toxic content and social bias behaviors, consequently hindering their safe deployment. Various detoxification methods were proposed to mitigate the language model's toxicity; however, these methods struggled to detoxify language models when conditioned on prompts that contain specific social identities related to gender, race, or religion. In this study, we propose Reinforce-Detoxify; A reinforcement learning-based method for mitigating toxicity in language models. We address the challenge of safety in language models and propose a new reward model that is able to detect toxic content and mitigate unintended bias towards social identities in toxicity prediction. The experiments demonstrate that the Reinforce-Detoxify method for language model detoxification outperforms existing detoxification approaches in automatic evaluation metrics, indicating the ability of our approach in language model detoxification and less prone to unintended bias toward social identities in generated content.
• Abstract（参考訳）: トランスフォーマティブベースの言語モデルは、フルーエントテキストを生成することができ、様々な自然言語生成タスクに効率的に適応することができる。 しかし、大規模な未ラベルのウェブテキストコーパスで事前訓練された言語モデルは、有害な内容の変性と社会的偏見の挙動に悩まされ、結果として安全な展開を妨げることが示されている。 言語モデルの毒性を軽減するために様々な解毒法が提案されたが、これらの方法は、性別、人種、宗教に関連する特定の社会的アイデンティティを含むプロンプトを条件に、言語モデルの解毒に苦慮した。 本研究では,言語モデルにおける毒性軽減のための強化学習に基づくReinforce-Detoxifyを提案する。 言語モデルにおける安全性の課題に対処し、有害な内容を検出し、有害性予測における社会的アイデンティティに対する意図しない偏見を軽減する新しい報酬モデルを提案する。 実験により,Reinforce-Detoxify法は,自動評価尺度において既存のデトックス化手法よりも優れており,言語モデルデトックス化における我々のアプローチの能力は,生成コンテンツにおける社会的アイデンティティに対する意図しない偏見に劣ることが示された。

関連論文リスト

• Recourse for reclamation: Chatting with generative language models [2.877217169371665]
  生成言語モデルにアルゴリズム・リコースの概念を拡張します。 我々は,毒性フィルタリングのしきい値を動的に設定することで,希望する予測を実現する新しいメカニズムをユーザに提供する。 提案手法の可能性を実証したパイロット実験を行った。
  論文  参考訳（メタデータ） (2024-03-21T15:14:25Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• Let the Models Respond: Interpreting Language Model Detoxification Through the Lens of Prompt Dependence [15.084940396969]
  いくつかの言語モデルに一般的な解毒アプローチを適用し、その結果のモデルの素早い依存に対する影響を定量化する。 反物語的微調整の有効性を評価し,それを強化学習による解毒法と比較した。
  論文  参考訳（メタデータ） (2023-09-01T22:26:06Z)
• CMD: a framework for Context-aware Model self-Detoxification [22.842468869653818]
  テキストの解毒は、有害なコンテンツを生み出す言語モデルのリスクを最小限にすることを目的としている。 既存の解毒法では、解毒効果と生成品質のバランスが取れない。 文脈対応モデル自己解毒(CMD)フレームワークを導入し、文脈と解毒プロセスの両方に注意を払う。
  論文  参考訳（メタデータ） (2023-08-16T11:50:38Z)
• Language Detoxification with Attribute-Discriminative Latent Space [59.167432249229584]
  トランスフォーマーベースの言語モデル(LM)は、自然言語理解タスクにおいて印象的な結果を得た。 また、侮辱、脅し、暴言などの有毒なテキストを生成でき、現実世界の応用を制限できる。 本稿では,属性識別型潜在空間を用いた効果的かつ効率的な言語解毒法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:54:42Z)
• Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models [78.12943085697283]
  デトキシフィケーション(detoxification)とは、本来の有毒なテキストの意味と流布を保ちつつ、丁寧なスタイルでテキストを生成するタスクである。 本研究は,多言語および多言語間の解毒と,このような大規模多言語モデルの挙動について検討する。
  論文  参考訳（メタデータ） (2022-06-05T20:02:30Z)
• Detoxifying Language Models with a Toxic Corpus [16.7345472998388]
  毒性を減らすため, 有害コーパスを添加資源として利用することを提案する。 その結果, 有害コーパスは, 言語生成過程の毒性を大幅に低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-30T18:25:18Z)
• Leashing the Inner Demons: Self-Detoxification for Language Models [13.576289320208511]
  言語モデル(LM)は、トレーニング中に見られる有害な言語を再現(または増幅)することができる。 我々は、プロンプト、復号化戦略、学習コーパスが出力に与える影響を分析する。 本稿では,言語モデルに対して,新たな大きなコーパスや外部識別器を使わずに「デトックス化」を行うための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-06T23:55:12Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。