Fugu-MT 論文翻訳(概要): Toxic Language Detection in Social Media for Brazilian Portuguese: New Dataset and Multilingual Analysis

論文の概要: Toxic Language Detection in Social Media for Brazilian Portuguese: New Dataset and Multilingual Analysis

arxiv url: http://arxiv.org/abs/2010.04543v1
Date: Fri, 9 Oct 2020 13:05:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-09 04:57:13.199244
Title: Toxic Language Detection in Social Media for Brazilian Portuguese: New Dataset and Multilingual Analysis
Title（参考訳）: ブラジルポルトガル語のソーシャルメディアにおける有害言語検出:新しいデータセットと多言語分析
Authors: Jo\~ao A. Leite and Diego F. Silva and Kalina Bontcheva and Carolina Scarton
Abstract要約: 最先端のBERTモデルでは,バイナリケースのモノリンガルデータを用いて76%のマクロF1スコアを達成できた。より正確なモデルを作成するためには,大規模なモノリンガルデータが依然として必要であることを示す。
参考スコア（独自算出の注目度）: 4.251937086394346
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hate speech and toxic comments are a common concern of social media platform users. Although these comments are, fortunately, the minority in these platforms, they are still capable of causing harm. Therefore, identifying these comments is an important task for studying and preventing the proliferation of toxicity in social media. Previous work in automatically detecting toxic comments focus mainly in English, with very few work in languages like Brazilian Portuguese. In this paper, we propose a new large-scale dataset for Brazilian Portuguese with tweets annotated as either toxic or non-toxic or in different types of toxicity. We present our dataset collection and annotation process, where we aimed to select candidates covering multiple demographic groups. State-of-the-art BERT models were able to achieve 76% macro-F1 score using monolingual data in the binary case. We also show that large-scale monolingual data is still needed to create more accurate models, despite recent advances in multilingual approaches. An error analysis and experiments with multi-label classification show the difficulty of classifying certain types of toxic comments that appear less frequently in our data and highlights the need to develop models that are aware of different categories of toxicity.
Abstract（参考訳）: ヘイトスピーチと有毒なコメントは、ソーシャルメディアプラットフォームユーザーの共通の関心事である。これらのコメントは、幸運にも、これらのプラットフォームの少数派であるが、それでも害を引き起こすことができる。したがって,これらのコメントの特定はソーシャルメディアにおける毒性の拡散を研究・防止するための重要な課題である。有毒なコメントを自動的に検出する以前の作業は、主に英語が中心で、ブラジルポルトガル語のような言語ではほとんど行われなかった。本稿では,ブラジルのポルトガル語に対して,有毒か非有毒か,あるいは異なる種類の有毒かを示すツイートを添付した大規模データセットを提案する。我々は,複数の人口集団をカバーする候補を選択することを目的としたデータセット収集とアノテーションプロセスを提案する。最先端のBERTモデルはバイナリケースでのモノリンガルデータを用いて76%のマクロF1スコアを達成できた。また,近年の多言語化の進展にも拘わらず,より正確なモデルを作成するためには,大規模単言語データが必要であることも示している。エラー分析とマルチラベル分類による実験は、データにあまり現れない特定の種類の有害なコメントを分類することの難しさを示し、異なる種類の毒性を認識したモデルを開発する必要性を強調している。

関連論文リスト

Assessing the Level of Toxicity Against Distinct Groups in Bangla Social Media Comments: A Comprehensive Investigation [0.0]
本研究は, トランスジェンダー, 先住民, 移民の3つの特定のグループを対象として, ベンガル語における有毒なコメントを同定することに焦点を当てた。この方法論は、データセット、手動のアノテーションの作成と、Bangla-BERT、bangla-bert-base、distil-BERT、Bert-base-multilingual-casedといったトレーニング済みのトランスフォーマーモデルの使用を含む。実験の結果、Bangla-BERTは代替モデルを超え、F1スコアは0.8903に達した。
論文参考訳（メタデータ） (2024-09-25T17:48:59Z)
FrenchToxicityPrompts: a Large Benchmark for Evaluating and Mitigating Toxicity in French Texts [13.470734853274587]
大規模言語モデル(LLM)はますます普及しているが、バイアス、有害、有害な言語を生み出す傾向にある。自然発生のフランスプロンプト50Kのデータセットである FrenchToxicityPrompts を作成した。 LLMの4つの主要なオープンソースファミリから14の異なるモデルを評価し,その毒性を評価する。
論文参考訳（メタデータ） (2024-06-25T14:02:11Z)
From One to Many: Expanding the Scope of Toxicity Mitigation in Language Models [10.807067327137855]
言語モデルが多言語機能を取り入れているため、私たちの安全対策はペースを保ちます。言語間で十分なアノテートされたデータセットがないため、私たちは翻訳データを用いて緩和手法を評価し、強化する。これにより,翻訳品質と言語間移動が毒性軽減に及ぼす影響を検討することができる。
論文参考訳（メタデータ） (2024-03-06T17:51:43Z)
Detecting Unintended Social Bias in Toxic Language Datasets [32.724030288421474]
本稿では,既存のKaggleコンペティションのデータセットであるJigsaw Unintended Bias in Toxicity Classificationから算出した新しいデータセットであるToxicBiasを紹介する。データセットには、5つの異なるバイアスカテゴリ、viz.、性、人種/民族性、宗教、政治的、LGBTQに注釈付けされたインスタンスが含まれている。得られたデータセットを用いてトランスフォーマーベースモデルをトレーニングし、バイアス識別、ターゲット生成、バイアス含意に関するベースライン性能を報告する。
論文参考訳（メタデータ） (2022-10-21T06:50:12Z)
Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。これにより、大規模なデータセットで数十億の外国語トークンが生成される。そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文参考訳（メタデータ） (2022-04-17T23:56:54Z)
ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection [33.715318646717385]
ToxiGenは、13の少数民族に関する274kの毒性と良心のステートメントの大規模なデータセットである。このようにマシン生成を制御することで、ToxiGenは暗黙的に有害なテキストを大規模にカバーできる。有毒な例の94.5%は、ヒトのアノテーターによるヘイトスピーチとしてラベル付けされている。
論文参考訳（メタデータ） (2022-03-17T17:57:56Z)
A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
Google JigsawのAspective APIの次期バージョンの基礎を提示する。このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
論文参考訳（メタデータ） (2022-02-22T20:55:31Z)
COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
論文参考訳（メタデータ） (2022-01-16T11:47:23Z)
Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
論文参考訳（メタデータ） (2021-06-14T08:49:52Z)
Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文参考訳（メタデータ） (2021-01-29T22:03:17Z)
XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。