論文の概要: COLD: A Benchmark for Chinese Offensive Language Detection
- arxiv url: http://arxiv.org/abs/2201.06025v1
- Date: Sun, 16 Jan 2022 11:47:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 13:13:16.847394
- Title: COLD: A Benchmark for Chinese Offensive Language Detection
- Title(参考訳): COLD:中国の攻撃的言語検出のためのベンチマーク
- Authors: Jiawen Deng, Jingyan Zhou, Hao Sun, Fei Mi, Minlie Huang
- Abstract要約: COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。
また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。
我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
- 参考スコア(独自算出の注目度): 54.60909500459201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Offensive language detection and prevention becomes increasing critical for
maintaining a healthy social platform and the safe deployment of language
models. Despite plentiful researches on toxic and offensive language problem in
NLP, existing studies mainly focus on English, while few researches involve
Chinese due to the limitation of resources. To facilitate Chinese offensive
language detection and model evaluation, we collect COLDataset, a Chinese
offensive language dataset containing 37k annotated sentences. With this
high-quality dataset, we provide a strong baseline classifier, COLDetector,
with 81% accuracy for offensive language detection. Furthermore, we also
utilize the proposed \textsc{COLDetector} to study output offensiveness of
popular Chinese language models (CDialGPT and CPM). We find that (1) CPM tends
to generate more offensive output than CDialGPT, and (2) certain type of
prompts, like anti-bias sentences, can trigger offensive outputs more
easily.Altogether, our resources and analyses are intended to help detoxify the
Chinese online communities and evaluate the safety performance of generative
language models. Disclaimer: The paper contains example data that may be
considered profane, vulgar, or offensive.
- Abstract(参考訳): 健全な社会プラットフォームと安全な言語モデルの配置を維持するために、攻撃的な言語検出と予防が重要になる。
NLPにおける有毒で攻撃的な言語問題に関する多くの研究にもかかわらず、既存の研究は主に英語に焦点を当てている。
中国語攻撃言語の検出とモデル評価を容易にするために,37kの注釈文を含む中国語攻撃言語データセットであるcoldatasetを収集する。
この高品質なデータセットでは,攻撃的言語検出に81%の精度を持つ,強力なベースライン分類器colldetectorを提供する。
さらに,提案した「textsc{COLDetector}」を用いて,中国語モデル(CDialGPT,CPM)の出力攻撃性について検討する。
その結果,(1)cpmはcdialgptよりも攻撃的なアウトプットを生じやすい傾向にあり,(2)抗バイアス文のように攻撃的なアウトプットを誘発しやすいプロンプトが存在することがわかった。
disclaimer: この論文には、粗野、粗悪、または不快と見なすことができる例データが含まれている。
関連論文リスト
- From One to Many: Expanding the Scope of Toxicity Mitigation in Language
Models [11.805944680474823]
言語モデルが多言語機能を取り入れているため、私たちの安全対策はペースを保ちます。
言語間で十分なアノテートされたデータセットがないため、私たちは翻訳データを用いて緩和手法を評価し、強化する。
これにより,翻訳品質と言語間移動が毒性軽減に及ぼす影響を検討することができる。
論文 参考訳(メタデータ) (2024-03-06T17:51:43Z) - OffLanDat: A Community Based Implicit Offensive Language Dataset
Generated by Large Language Model Through Prompt Engineering [5.807138085696043]
OffLanDatはコミュニティベースの暗黙的な攻撃的な言語データセットである。
本稿では、暗黙の攻撃的言語を効果的に生成するプロンプトベースのアプローチを提案する。
他の研究者のために、コードとデータセットを公開します。
論文 参考訳(メタデータ) (2024-03-04T20:34:58Z) - Vicinal Risk Minimization for Few-Shot Cross-lingual Transfer in Abusive
Language Detection [19.399281609371258]
高リソースから中低リソース言語への言語間変換学習は、励みのよい結果を示している。
我々は、言語間乱用言語検出を改善するために、ドメイン適応のためのデータ拡張と継続事前学習を利用する。
論文 参考訳(メタデータ) (2023-11-03T16:51:07Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳(メタデータ) (2023-09-19T14:42:33Z) - Expanding Scope: Adapting English Adversarial Attacks to Chinese [11.032727439758661]
本稿では,SOTA攻撃アルゴリズムを中国語に適応させる方法について検討する。
実験の結果,これまで英語NLPに適用されていた攻撃手法は,中国語で高品質な敵の例を生成できることがわかった。
さらに, 生成した逆数例が高頻度でセマンティック一貫性が得られることを示す。
論文 参考訳(メタデータ) (2023-06-08T02:07:49Z) - No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。
何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。
本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
論文 参考訳(メタデータ) (2022-07-11T07:33:36Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳(メタデータ) (2020-04-28T11:27:24Z) - Offensive Language Detection: A Comparative Analysis [2.5739449801033842]
本稿では,Google文エンコーダ,Fasttext,動的モード分解(DMD)に基づく機能とRandom kitchen sink(RKS)法による攻撃言語検出の有効性について検討する。
実験と評価の結果,Fastetxt を用いた RKS が競合する結果を得た。
論文 参考訳(メタデータ) (2020-01-09T17:48:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。