論文の概要: Identification of Bias Against People with Disabilities in Sentiment
Analysis and Toxicity Detection Models
- arxiv url: http://arxiv.org/abs/2111.13259v1
- Date: Thu, 25 Nov 2021 21:44:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 03:17:46.555768
- Title: Identification of Bias Against People with Disabilities in Sentiment
Analysis and Toxicity Detection Models
- Title（参考訳）: 感覚分析および毒性検出モデルにおける障害者に対するバイアスの同定
- Authors: Pranav Narayanan Venkit, Shomir Wilson
- Abstract要約: 本稿では,障害のバイアスに対する感情分析モデルを探索するための1,126文のコーパスであるBITS(Bias Identification Test in Sentiments)を提案する。
その結果, 障害に言及した文に対して, いずれも負のバイアスが強いことが示唆された。
- 参考スコア（独自算出の注目度）: 0.5758109624133713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sociodemographic biases are a common problem for natural language processing,
affecting the fairness and integrity of its applications. Within sentiment
analysis, these biases may undermine sentiment predictions for texts that
mention personal attributes that unbiased human readers would consider neutral.
Such discrimination can have great consequences in the applications of
sentiment analysis both in the public and private sectors. For example,
incorrect inferences in applications like online abuse and opinion analysis in
social media platforms can lead to unwanted ramifications, such as wrongful
censoring, towards certain populations. In this paper, we address the
discrimination against people with disabilities, PWD, done by sentiment
analysis and toxicity classification models. We provide an examination of
sentiment and toxicity analysis models to understand in detail how they
discriminate PWD. We present the Bias Identification Test in Sentiments (BITS),
a corpus of 1,126 sentences designed to probe sentiment analysis models for
biases in disability. We use this corpus to demonstrate statistically
significant biases in four widely used sentiment analysis tools (TextBlob,
VADER, Google Cloud Natural Language API and DistilBERT) and two toxicity
analysis models trained to predict toxic comments on Jigsaw challenges (Toxic
comment classification and Unintended Bias in Toxic comments). The results show
that all exhibit strong negative biases on sentences that mention disability.
We publicly release BITS Corpus for others to identify potential biases against
disability in any sentiment analysis tools and also to update the corpus to be
used as a test for other sociodemographic variables as well.
- Abstract（参考訳）: 社会デモグラフィバイアスは自然言語処理において一般的な問題であり、その応用の公平性と整合性に影響を及ぼす。
感情分析では、これらの偏見は、人間の読者が中立とみなす個人的属性に言及するテキストに対する感情予測を損なう可能性がある。
このような差別は、公共部門と民間部門の両方で感情分析の応用に大きな影響を及ぼす可能性がある。
例えば、オンラインの虐待やソーシャルメディアプラットフォームにおける意見分析などのアプリケーションにおける誤った推論は、不正な検閲などの望ましくない問題を引き起こす可能性がある。
本稿では,感情分析と毒性分類モデルを用いて,障害者に対するpwdの差別について述べる。
我々は, pwdの判別方法について詳細に理解するために, 感情分析モデルと毒性分析モデルの検討を行った。
本稿では,障害のバイアスに対する感情分析モデルを探索するための1,126文のコーパスであるBITS(Bias Identification Test in Sentiments)を提案する。
このコーパスを用いて、広く使われている4つの感情分析ツール(TextBlob、VADER、Google Cloud Natural Language API、DistilBERT)と、Jigsawの課題に対する有害なコメントを予測するために訓練された2つの毒性分析モデル(Toxicコメント分類とToxicコメントにおける意図しないバイアス)において、統計的に重要なバイアスを示す。
その結果, いずれも障害に言及した文に強い負のバイアスが認められた。
我々はBITS Corpusを公開して、あらゆる感情分析ツールの障害に対する潜在的なバイアスを特定するとともに、他の社会デマグラフィー変数の試験にも使用されるコーパスを更新する。
関連論文リスト
- You Shall Know a Tool by the Traces it Leaves: The Predictability of Sentiment Analysis Tools [74.98850427240464]
感情分析ツールが同じデータセットで一致しないことを示す。
感傷的アノテーションに使用される感情ツールは,その結果から予測できることを示す。
論文 参考訳（メタデータ） (2024-10-18T17:27:38Z) - Lexicon-Based Sentiment Analysis on Text Polarities with Evaluation of Classification Models [1.342834401139078]
本研究は,レキシコン法を用いて感情分析を行い,テキストデータを用いた分類モデルの評価を行った。
語彙に基づく手法は、単語レベルでの感情と主観性の強さを識別する。
この研究は、テキストが正、負、中立とラベル付けされているというマルチクラスの問題に基づいている。
論文 参考訳（メタデータ） (2024-09-19T15:31:12Z) - The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。
我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。
StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
論文 参考訳（メタデータ） (2024-06-14T15:41:06Z) - Diagnosing and Debiasing Corpus-Based Political Bias and Insults in GPT2 [0.0]
大規模な言語モデル (LLMs) をインターネットから流出した未フィルタリングコーパスでトレーニングすることは、一般的で有利なプラクティスである。
近年の研究では、生成事前学習型トランスフォーマー(GPT)言語モデルが、自身のバイアスを認識し、生成されたコンテンツの毒性を検出することが示されている。
本研究は、侮辱と政治的偏見の2つの追加的なバイアスを緩和する診断・偏見的アプローチの有効性について検討した。
論文 参考訳（メタデータ） (2023-11-17T01:20:08Z) - Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳（メタデータ） (2023-11-16T07:22:56Z) - Automated Ableism: An Exploration of Explicit Disability Biases in
Sentiment and Toxicity Analysis Models [5.611973529240434]
障害者に対する明示的偏見の有無を検出するための感情分析と毒性検出モデル(PWD)について分析する。
我々は、摂動感分析のバイアス識別フレームワークを用いて、ソーシャルメディアプラットフォーム、特にTwitterとRedditにおけるPWDに関連する会話を調べる。
次に、感情分析および毒性検出モデルにおいて、明示的な障害バイアスを定量化するために、textitBias Identification Test in Sentiment (BITS)コーパスを作成する。
論文 参考訳（メタデータ） (2023-07-18T12:45:54Z) - Toxicity Detection with Generative Prompt-based Inference [3.9741109244650823]
言語モデル(LM)は、望ましくない内容を含むコーパスで訓練され、バイアスや毒性を示す能力を持つことは、長年にわたって知られていたリスクである。
本研究では,ゼロショットプロンプトによる毒性検出の生成的変異について検討し,プロンプトエンジニアリングに関する総合的な試行を行った。
論文 参考訳（メタデータ） (2022-05-24T22:44:43Z) - Anatomizing Bias in Facial Analysis [86.79402670904338]
既存の顔分析システムでは、特定の集団群に対して偏りのある結果が得られることが示されている。
これらのシステムは、個人の性別、アイデンティティ、肌のトーンに基づいて差別されないようにすることが義務づけられている。
これはAIシステムにおけるバイアスの識別と緩和の研究につながった。
論文 参考訳（メタデータ） (2021-12-13T09:51:13Z) - Mitigating Biases in Toxic Language Detection through Invariant
Rationalization [70.36701068616367]
性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。
本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。
本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
論文 参考訳（メタデータ） (2021-06-14T08:49:52Z) - Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。
我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。
我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文 参考訳（メタデータ） (2021-01-29T22:03:17Z) - Social Biases in NLP Models as Barriers for Persons with Disabilities [13.579848462349192]
本稿では、障害の言及に対する望ましくない偏見の証拠として、毒性予測と感情分析の2つの異なる英語モデルについて述べる。
次に、ほとんどのNLPパイプラインにおいて重要な第一歩である神経埋め込みが、障害の言及に対する望ましくないバイアスを含むことを実証する。
最終的に、観察されたモデルバイアスに寄与する可能性のある障害に関する談話の中で、トピックのバイアスを強調します。
論文 参考訳（メタデータ） (2020-05-02T12:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。