論文の概要: Measuring Misogyny in Natural Language Generation: Preliminary Results
from a Case Study on two Reddit Communities
- arxiv url: http://arxiv.org/abs/2312.03330v1
- Date: Wed, 6 Dec 2023 07:38:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 15:56:24.285066
- Title: Measuring Misogyny in Natural Language Generation: Preliminary Results
from a Case Study on two Reddit Communities
- Title（参考訳）: 自然言語生成におけるミソジニーの測定:2つのRedditコミュニティを事例として
- Authors: Aaron J. Snoswell, Lucinda Nelson, Hao Xue, Flora D. Salim, Nicolas
Suzor and Jean Burgess
- Abstract要約: 自然言語生成における誤語測定の課題について考察する。
Redditでは2つの優れたIncelコミュニティのデータを使用します。
- 参考スコア（独自算出の注目度）: 7.499634046186994
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generic `toxicity' classifiers continue to be used for evaluating the
potential for harm in natural language generation, despite mounting evidence of
their shortcomings. We consider the challenge of measuring misogyny in natural
language generation, and argue that generic `toxicity' classifiers are
inadequate for this task. We use data from two well-characterised `Incel'
communities on Reddit that differ primarily in their degrees of misogyny to
construct a pair of training corpora which we use to fine-tune two language
models. We show that an open source `toxicity' classifier is unable to
distinguish meaningfully between generations from these models. We contrast
this with a misogyny-specific lexicon recently proposed by feminist
subject-matter experts, demonstrating that, despite the limitations of simple
lexicon-based approaches, this shows promise as a benchmark to evaluate
language models for misogyny, and that it is sensitive enough to reveal the
known differences in these Reddit communities. Our preliminary findings
highlight the limitations of a generic approach to evaluating harms, and
further emphasise the need for careful benchmark design and selection in
natural language evaluation.
- Abstract（参考訳）: ジェネリックな「毒性」分類器は、その欠点の証拠を積み重ねながらも、自然言語生成における有害性を評価するために使われ続けている。
我々は,自然言語生成におけるミソジニー測定の課題を考察し,一般の「毒性」分類器は,この課題には不十分であると主張する。
2つの言語モデルを微調整するために使用する2つのトレーニングコーパスを構築するのに、主に誤字の程度が異なるRedditの2つの有名な‘Incel’コミュニティのデータを使用します。
オープンソースの「毒性」分類器は、これらのモデルと世代間で有意に区別できないことを示す。
私たちは、フェミニストの主題マッターの専門家が最近提案したミソジニー特有のレキシコンとは対照的に、単純なレキシコンベースのアプローチの制限にもかかわらず、これはミソジニーの言語モデルを評価するベンチマークとして約束されていることを示し、これらのredditコミュニティで既知の違いを明らかにするには十分敏感であることを示している。
予備的な知見は、害を評価するための一般的なアプローチの限界を強調し、さらに、自然言語評価における慎重なベンチマーク設計と選択の必要性を強調した。
関連論文リスト
- The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification [57.06913662622832]
ジェンダーフェア言語は、すべての性別に対処したり、中立形を使用することによって包摂性を促進する。
ジェンダーフェア言語はラベルを反転させ、確実性を減らし、注意パターンを変化させることで予測に大きな影響を及ぼす。
ドイツ語のテキスト分類への影響について最初の知見を提供する一方で、他の言語にもその知見が当てはまる可能性が高い。
論文 参考訳（メタデータ） (2024-09-26T15:08:17Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - A multitask learning framework for leveraging subjectivity of annotators to identify misogyny [47.175010006458436]
本研究では,誤識別システムの性能向上を目的としたマルチタスク学習手法を提案する。
6つのプロファイルグループにまたがる性別と年齢を考慮したモデル設計において,アノテータからさまざまな視点を取り入れた。
本研究は、コンテンツモデレーションを推進し、効果的なオンラインモデレーションシステムを構築するための多様な視点を受け入れることの重要性を強調している。
論文 参考訳（メタデータ） (2024-06-22T15:06:08Z) - Generalizing Fairness to Generative Language Models via Reformulation of Non-discrimination Criteria [4.738231680800414]
本稿では、生成言語モデルにおけるジェンダーバイアスの存在を解明し、定量化する方法について研究する。
我々は、独立性、分離性、充足性という3つのよく知られた非識別基準のジェネレーティブAIアナログを導出する。
本研究は,このような対話型言語モデルにおける職業性バイアスの存在に対処するものである。
論文 参考訳（メタデータ） (2024-03-13T14:19:08Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - Characteristics of Harmful Text: Towards Rigorous Benchmarking of
Language Models [32.960462266615096]
大規模な言語モデルは、多くのアプリケーションを動かす人間のようなテキストを生成する。
近年の文献や現実世界の観測により、これらのモデルが有害、偏見があり、非現実的、その他の有害な言語を生成できることが証明されている。
我々は、新しいベンチマークを設計する際、明らかな考慮に値する有害なテキストを特徴づける6つの方法を概説する。
論文 参考訳（メタデータ） (2022-06-16T17:28:01Z) - Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias
in Speech Translation [20.39599469927542]
ジェンダーバイアスは言語技術に影響を及ぼす問題として広く認識されている。
現代の評価慣行のほとんどは、合成条件下での職業名詞の狭いセットに単語レベルの焦点をあてている。
このようなプロトコルは、性合意のモルフォシンタクティック連鎖を特徴とする文法性言語の重要な特徴を見落としている。
論文 参考訳（メタデータ） (2022-03-18T11:14:16Z) - Mitigating Biases in Toxic Language Detection through Invariant
Rationalization [70.36701068616367]
性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。
本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。
本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
論文 参考訳（メタデータ） (2021-06-14T08:49:52Z) - Towards Equal Gender Representation in the Annotations of Toxic Language
Detection [6.129776019898014]
本研究では,男女の有毒度に対するコメントの注釈方法の違いについて検討する。
BERTモデルは、男性アノテーターによる攻撃的な言葉を含む有毒なコメントを連想させ、男性によって注釈付けされたとして67.7%の有毒なコメントを予測した。
本研究では、この男女差を、攻撃的な言葉と非常に有毒なコメントをトレーニングデータから取り除くことで軽減することができることを示す。
論文 参考訳（メタデータ） (2021-06-04T00:12:38Z) - Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。
我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。
我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文 参考訳（メタデータ） (2021-01-29T22:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。