論文の概要: DiffuDetox: A Mixed Diffusion Model for Text Detoxification

• arxiv url: http://arxiv.org/abs/2306.08505v1
• Date: Wed, 14 Jun 2023 13:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 18:58:37.448904
• Title: DiffuDetox: A Mixed Diffusion Model for Text Detoxification
• Title（参考訳）: DiffuDetox: テキストのデトックス化のための混合拡散モデル
• Authors: Griffin Floto, Mohammad Mahdi Abdollah Pour, Parsa Farinneya, Zhenwei Tang, Ali Pesaranghader, Manasa Bharadwaj, Scott Sanner
• Abstract要約: テキストデトックス化は、有害なテキストから攻撃的コンテンツを取り除くことを目的とした条件付きテキスト生成タスクである。 テキストデトックス化のための混合条件と非条件拡散モデルであるDiffuDetoxを提案する。
• 参考スコア（独自算出の注目度）: 12.014080113339178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text detoxification is a conditional text generation task aiming to remove offensive content from toxic text. It is highly useful for online forums and social media, where offensive content is frequently encountered. Intuitively, there are diverse ways to detoxify sentences while preserving their meanings, and we can select from detoxified sentences before displaying text to users. Conditional diffusion models are particularly suitable for this task given their demonstrated higher generative diversity than existing conditional text generation models based on language models. Nonetheless, text fluency declines when they are trained with insufficient data, which is the case for this task. In this work, we propose DiffuDetox, a mixed conditional and unconditional diffusion model for text detoxification. The conditional model takes toxic text as the condition and reduces its toxicity, yielding a diverse set of detoxified sentences. The unconditional model is trained to recover the input text, which allows the introduction of additional fluent text for training and thus ensures text fluency. Extensive experimental results and in-depth analysis demonstrate the effectiveness of our proposed DiffuDetox.
• Abstract（参考訳）: テキストデトックス化(text detoxification)は、有害なテキストから有害なコンテンツを除去するための条件付きテキスト生成タスクである。 オンラインフォーラムやソーシャルメディアでは、攻撃的なコンテンツが頻繁に出会うのに非常に有用である。 直感的には、意味を保ちながら文章をデトックス化する方法は様々であり、ユーザに対してテキストを表示する前に、デトックス化文を選択できる。 条件付き拡散モデルは、言語モデルに基づく既存の条件付きテキスト生成モデルよりも高い生成的多様性を示すため、このタスクに特に適している。 それでも、不十分なデータで訓練された場合、テキストの流布度は低下する。 本研究では,テキストデトックス化のための混合条件と非条件拡散モデルであるDiffuDetoxを提案する。 条件付きモデルは、有毒なテキストを条件として取り、その毒性を減少させ、様々な無毒な文を生成する。 非条件モデルは、入力テキストを復元するために訓練され、トレーニングのために追加のフルーエントテキストを導入することができる。 提案するdiffudetoxの有効性を実験的に検証し,詳細な解析を行った。

関連論文リスト

• Mitigating Text Toxicity with Counterfactual Generation [0.3250512744763586]
  毒性の軽減は、有害な意味を取り除くためにテキストを言い換えることである。 現在のメソッドは、最初の非有毒な意味を保ちながら、テキストをデトックスすることができない。 この研究は、カウンターファクト生成とテキストのデトックス化のギャップを埋める最初のものである。
  論文  参考訳（メタデータ） (2024-05-16T09:52:21Z)
• Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models [26.474136481185724]
  インスタンスレベルのプレフィックス(FGDILP)によるきめ細かいデトックス化は、有害なテキストを余分なコストで軽減する。 FGDILPは、正のプレフィックス予測プロンプトを用いて、注意空間における文脈化された表現と対比する。 我々は、FGDILPが発話レベルと文脈レベルの両方において有害性に関して制御されたテキスト生成を可能にすることを検証した。
  論文  参考訳（メタデータ） (2024-02-23T09:04:48Z)
• Text Detoxification as Style Transfer in English and Hindi [1.183205689022649]
  本論文は, 有毒テキストを非有毒テキストに自動的に変換するテキストデトックス化に焦点を当てている。 類似したタスクからの知識伝達,マルチタスク学習,削除と再構築の3つのアプローチを提案する。 以上の結果から,本手法は実際の内容の保存と流布の維持を両立しながら,テキストの脱毒を効果的にバランスさせることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:30:41Z)
• Parameter-Efficient Detoxification with Contrastive Decoding [78.5124331048714]
  Detoxification Generator (DETOXIGEN) は、不要なスタイルから退避する推論時間アルゴリズムである。 実際の生成では、トレーニングされたデトキシファイタを使用して、生成元が各デコードステップでコントラストする好ましくないトークンを生成する。 生成品質を損なうことなく,従来のデトキシフィケーション指標のアプローチを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-13T01:46:20Z)
• Exploring Methods for Cross-lingual Text Style Transfer: The Case of Text Detoxification [77.45995868988301]
  テキスト・デトックス化(text detoxification)とは、テキストのスタイルを有害から中立に移行させる作業である。 本稿では,言語間テキストのデトックス化戦略を大規模に検討する。
  論文  参考訳（メタデータ） (2023-11-23T11:40:28Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• Reward Modeling for Mitigating Toxicity in Transformer-based Language Models [0.0]
  トランスフォーマーベースの言語モデルでは、流動的なテキストを生成し、さまざまな自然言語生成タスクに効率よく適応することができる。 大規模未ラベルのウェブテキストコーパスで事前訓練された言語モデルは、有害な内容の変性や社会的偏見の振る舞いに悩まされていることが示されている。 言語モデルにおける毒性を緩和する強化学習に基づく手法であるReinforce-Detoxifyを提案する。
  論文  参考訳（メタデータ） (2022-02-19T19:26:22Z)
• Text Detoxification using Large Pre-trained Neural Models [57.72086777177844]
  テキスト中の毒性を除去する2つの新しい教師なし手法を提案する。 最初の方法は、生成プロセスのガイダンスと、小さなスタイル条件言語モデルを組み合わせることである。 第2の方法は、BERTを使用して有害な単語を非攻撃的同義語に置き換える。
  論文  参考訳（メタデータ） (2021-09-18T11:55:32Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。