論文の概要: CONDA: a CONtextual Dual-Annotated dataset for in-game toxicity
understanding and detection
- arxiv url: http://arxiv.org/abs/2106.06213v1
- Date: Fri, 11 Jun 2021 07:42:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:18:26.277996
- Title: CONDA: a CONtextual Dual-Annotated dataset for in-game toxicity
understanding and detection
- Title(参考訳): CONDA: ゲーム内毒性の理解と検出のためのコンテキストデュアルアノテーションデータセット
- Authors: Henry Weld, Guanghao Huang, Jean Lee, Tongshu Zhang, Kunze Wang,
Xinghong Guo, Siqu Long, Josiah Poon, Soyeon Caren Han
- Abstract要約: CONDAは,ゲーム内有害言語検出のための新しいデータセットである。
データセットは、1.9Kの完了したDota 2マッチのチャットログから12Kの会話から45Kの発話で構成されている。
ゲーム内毒性分析は、発話、トークン、二重レベルにおけるコンテキストの包括的理解を提供する。
- 参考スコア(独自算出の注目度): 1.6085428542036968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional toxicity detection models have focused on the single utterance
level without deeper understanding of context. We introduce CONDA, a new
dataset for in-game toxic language detection enabling joint intent
classification and slot filling analysis, which is the core task of Natural
Language Understanding (NLU). The dataset consists of 45K utterances from 12K
conversations from the chat logs of 1.9K completed Dota 2 matches. We propose a
robust dual semantic-level toxicity framework, which handles utterance and
token-level patterns, and rich contextual chatting history. Accompanying the
dataset is a thorough in-game toxicity analysis, which provides comprehensive
understanding of context at utterance, token, and dual levels. Inspired by NLU,
we also apply its metrics to the toxicity detection tasks for assessing
toxicity and game-specific aspects. We evaluate strong NLU models on CONDA,
providing fine-grained results for different intent classes and slot classes.
Furthermore, we examine the coverage of toxicity nature in our dataset by
comparing it with other toxicity datasets.
- Abstract(参考訳): 従来の毒性検出モデルは、文脈の深い理解なしに単一の発話レベルに焦点を当ててきた。
我々は,自然言語理解(nlu)のコアタスクである統合意図分類とスロット充填解析を可能にする,ゲーム内有毒言語検出のための新しいデータセットcondaを紹介する。
データセットは、dota 2マッチの1万9千のチャットログから1万1千の会話から45kの発話からなる。
本稿では,発話やトークンレベルのパターン,リッチなコンテキストチャット履歴を扱う,堅牢な二重意味レベル毒性フレームワークを提案する。
データセットの添付はゲーム内毒性の分析であり、発話、トークン、二重レベルのコンテキストの包括的な理解を提供する。
また,NLUにインスパイアされたその指標を毒性検出タスクに適用し,毒性とゲーム特有の側面を評価する。
CONDA上での強力なNLUモデルの評価を行い、異なる意図クラスとスロットクラスに対してきめ細かい結果を提供する。
さらに,他の毒性データセットとの比較により,本データセットの毒性特性のカバレッジについて検討した。
関連論文リスト
- Just KIDDIN: Knowledge Infusion and Distillation for Detection of INdecent Memes [8.337745035712311]
本稿では,LVLM(Large Visual Language Models)の知識蒸留(KD)と知識注入を統合し,有害度検出性能を向上させる新しいフレームワークを提案する。
提案手法は,コンパクトなVLMフレームワーク内で注入可能な大規模コモンセンス知識グラフ(KG)であるConceptNetから,サブ知識グラフを抽出する。
2つのヘイトスピーチベンチマークデータセットによる実験結果から,最先端のベースラインよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-11-19T02:39:28Z) - Facilitating Fine-grained Detection of Chinese Toxic Language:
Hierarchical Taxonomy, Resources, and Benchmarks [18.44630180661091]
既存のデータセットには、有害な型や表現の詳細なアノテーションがない。
ポストの毒性を検出するために語彙的知識を導入することが重要である。
本稿では,中国語の有害な言語をきめ細かい検出を容易にする。
論文 参考訳(メタデータ) (2023-05-08T03:50:38Z) - Contextual information integration for stance detection via
cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。
既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。
文脈情報をテキストとして統合する手法を提案する。
論文 参考訳(メタデータ) (2022-11-03T15:04:29Z) - Toxicity Detection with Generative Prompt-based Inference [3.9741109244650823]
言語モデル(LM)は、望ましくない内容を含むコーパスで訓練され、バイアスや毒性を示す能力を持つことは、長年にわたって知られていたリスクである。
本研究では,ゼロショットプロンプトによる毒性検出の生成的変異について検討し,プロンプトエンジニアリングに関する総合的な試行を行った。
論文 参考訳(メタデータ) (2022-05-24T22:44:43Z) - Revisiting Contextual Toxicity Detection in Conversations [28.465019968374413]
ヒトによる毒性のラベル付けは、一般的に、会話の構造、極性、文脈の話題に影響されている。
本稿では、文脈毒性検出のためのニューラルネットワークを導入して、これらの知見を計算検出モデルに適用することを提案する。
また、このようなモデルが、特にソーシャルメディア領域において、合成データの恩恵を受けることを実証した。
論文 参考訳(メタデータ) (2021-11-24T11:50:37Z) - Toxicity Detection can be Sensitive to the Conversational Context [64.28043776806213]
2種類の毒性ラベルを持つ1万のポストのデータセットを構築し、公開します。
また,新たな課題である文脈感度推定を導入し,コンテキストも考慮された場合,毒性が変化すると認識された投稿を識別することを目的とした。
論文 参考訳(メタデータ) (2021-11-19T13:57:26Z) - Mitigating Biases in Toxic Language Detection through Invariant
Rationalization [70.36701068616367]
性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。
本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。
本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
論文 参考訳(メタデータ) (2021-06-14T08:49:52Z) - Detecting Inappropriate Messages on Sensitive Topics that Could Harm a
Company's Reputation [64.22895450493729]
カメや釣りの穏やかな議論は、政治や性的マイノリティの議論よりも不適切な有毒な対話を後押しします。
我々は,不適切で有害なメッセージを生み出す可能性のある,センシティブなトピックのセットを定義し,データセットの収集とラベル付けの方法論を記述した。
論文 参考訳(メタデータ) (2021-03-09T10:50:30Z) - Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。
我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。
我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文 参考訳(メタデータ) (2021-01-29T22:03:17Z) - RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language
Models [93.151822563361]
事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。
本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
論文 参考訳(メタデータ) (2020-09-24T03:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。