論文の概要: Toxicity Detection can be Sensitive to the Conversational Context

• arxiv url: http://arxiv.org/abs/2111.10223v1
• Date: Fri, 19 Nov 2021 13:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 16:07:22.928097
• Title: Toxicity Detection can be Sensitive to the Conversational Context
• Title（参考訳）: 毒性検出は会話的文脈に敏感になりうる
• Authors: Alexandros Xenos, John Pavlopoulos, Ion Androutsopoulos, Lucas Dixon, Jeffrey Sorensen and Leo Laugier
• Abstract要約: 2種類の毒性ラベルを持つ1万のポストのデータセットを構築し、公開します。 また,新たな課題である文脈感度推定を導入し,コンテキストも考慮された場合,毒性が変化すると認識された投稿を識別することを目的とした。
• 参考スコア（独自算出の注目度）: 64.28043776806213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User posts whose perceived toxicity depends on the conversational context are rare in current toxicity detection datasets. Hence, toxicity detectors trained on existing datasets will also tend to disregard context, making the detection of context-sensitive toxicity harder when it does occur. We construct and publicly release a dataset of 10,000 posts with two kinds of toxicity labels: (i) annotators considered each post with the previous one as context; and (ii) annotators had no additional context. Based on this, we introduce a new task, context sensitivity estimation, which aims to identify posts whose perceived toxicity changes if the context (previous post) is also considered. We then evaluate machine learning systems on this task, showing that classifiers of practical quality can be developed, and we show that data augmentation with knowledge distillation can improve the performance further. Such systems could be used to enhance toxicity detection datasets with more context-dependent posts, or to suggest when moderators should consider the parent posts, which often may be unnecessary and may otherwise introduce significant additional cost.
• Abstract（参考訳）: 現在の毒性検出データセットでは、会話コンテキストに依存すると認識されるユーザ投稿はまれである。 したがって、既存のデータセットで訓練された毒性検知器は、文脈を無視する傾向があり、状況に敏感な毒性の検出が困難になる。 2種類の毒性ラベルを持つ1万のポストのデータセットを構築し、公開します。 (一 注釈家は、前項を文脈として各投稿を考察し、 (ii)注釈には追加の文脈がなかった。 そこで,本稿では,コンテキスト(過去の投稿)も考慮された場合,毒性が知覚されるポストの同定を目的とした,コンテキスト感度推定という新たなタスクを導入する。 次に,本課題における機械学習システムの評価を行い,実用品質の分類器を開発することを示し,知識蒸留によるデータ拡張により,さらなる性能向上が期待できることを示す。 このようなシステムは、よりコンテキスト依存的なポストによる毒性検出データセットの強化や、モデレーターが親ポストをいつ検討すべきかの提案に利用することができる。

関連論文リスト

• Towards Building a Robust Toxicity Predictor [13.162016701556725]
  本稿では, 有害なテキストサンプルを良性として予測するために, SOTAテキスト分類器に小さな単語レベルの摂動を導入し, 新たな逆攻撃であるtexttToxicTrapを提案する。 2つの新しい目標関数の設計により、ToxicTrapはマルチクラスおよびマルチラベルの有害言語検知器の弱点を特定することができる。
  論文  参考訳（メタデータ） (2024-04-09T22:56:05Z)
• Toxicity Inspector: A Framework to Evaluate Ground Truth in Toxicity Detection Through Feedback [0.0]
  本稿では,ヒト・イン・ザ・ループパイプラインを組み込んだ毒性検査フレームワークを提案する。 これは、反復的なフィードバックサイクルを通じて評価者の値を集中させることで、毒性ベンチマークデータセットの信頼性を高めることを目的としている。
  論文  参考訳（メタデータ） (2023-05-11T11:56:42Z)
• Constructing Highly Inductive Contexts for Dialogue Safety through Controllable Reverse Generation [65.48908724440047]
  そこで本稿では,ある応答に条件付けされた逆コンテキストを構築するために,エンフレバース生成と呼ばれる手法を提案する。 我々は,Blender,DialoGPT,Plato2の3種類の事前訓練済み対話モデルをテストする。
  論文  参考訳（メタデータ） (2022-12-04T12:23:41Z)
• Toxicity Detection with Generative Prompt-based Inference [3.9741109244650823]
  言語モデル(LM)は、望ましくない内容を含むコーパスで訓練され、バイアスや毒性を示す能力を持つことは、長年にわたって知られていたリスクである。 本研究では,ゼロショットプロンプトによる毒性検出の生成的変異について検討し,プロンプトエンジニアリングに関する総合的な試行を行った。
  論文  参考訳（メタデータ） (2022-05-24T22:44:43Z)
• Revisiting Contextual Toxicity Detection in Conversations [28.465019968374413]
  ヒトによる毒性のラベル付けは、一般的に、会話の構造、極性、文脈の話題に影響されている。 本稿では、文脈毒性検出のためのニューラルネットワークを導入して、これらの知見を計算検出モデルに適用することを提案する。 また、このようなモデルが、特にソーシャルメディア領域において、合成データの恩恵を受けることを実証した。
  論文  参考訳（メタデータ） (2021-11-24T11:50:37Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• Detecting Inappropriate Messages on Sensitive Topics that Could Harm a Company's Reputation [64.22895450493729]
  カメや釣りの穏やかな議論は、政治や性的マイノリティの議論よりも不適切な有毒な対話を後押しします。 我々は,不適切で有害なメッセージを生み出す可能性のある,センシティブなトピックのセットを定義し,データセットの収集とラベル付けの方法論を記述した。
  論文  参考訳（メタデータ） (2021-03-09T10:50:30Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)
• Toxicity Detection: Does Context Really Matter? [22.083682201142242]
  私たちは、投稿の有害性に対する認識を増幅または緩和できる状況があることに気付きました。 意外なことに、文脈が毒性分類器の性能を実際に改善する証拠も見つからない。 これは、コンテキストにアノテートされたコメントのより大きなデータセットの必要性を示している。
  論文  参考訳（メタデータ） (2020-06-01T15:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。