論文の概要: Auditing Gender Analyzers on Text Data

• arxiv url: http://arxiv.org/abs/2310.06061v1
• Date: Mon, 9 Oct 2023 18:13:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 02:16:55.036820
• Title: Auditing Gender Analyzers on Text Data
• Title（参考訳）: テキストデータを用いたジェンダーアナライザの監査
• Authors: Siddharth D Jaiswal, Ankit Kumar Verma, Animesh Mukherjee
• Abstract要約: uClassify、Readable、HackerFactorの3つの既存のジェンダーアナライザを、非バイナリ個人に対するバイアスとして監査します。 このツールは、シスジェンダーのバイナリラベルのみを予測するように設計されており、これは社会の非バイナリメンバーに対する差別につながる。 これを解決するために、複数の組み合わせで2つのデータセット上のBERTマルチラベル分類器を微調整する。
• 参考スコア（独自算出の注目度）: 7.73812434373948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI models have become extremely popular and accessible to the general public. However, they are continuously under the scanner due to their demonstrable biases toward various sections of the society like people of color and non-binary people. In this study, we audit three existing gender analyzers -- uClassify, Readable and HackerFactor, for biases against non-binary individuals. These tools are designed to predict only the cisgender binary labels, which leads to discrimination against non-binary members of the society. We curate two datasets -- Reddit comments (660k) and, Tumblr posts (2.05M) and our experimental evaluation shows that the tools are highly inaccurate with the overall accuracy being ~50% on all platforms. Predictions for non-binary comments on all platforms are mostly female, thus propagating the societal bias that non-binary individuals are effeminate. To address this, we fine-tune a BERT multi-label classifier on the two datasets in multiple combinations, observe an overall performance of ~77% on the most realistically deployable setting and a surprisingly higher performance of 90% for the non-binary class. We also audit ChatGPT using zero-shot prompts on a small dataset (due to high pricing) and observe an average accuracy of 58% for Reddit and Tumblr combined (with overall better results for Reddit). Thus, we show that existing systems, including highly advanced ones like ChatGPT are biased, and need better audits and moderation and, that such societal biases can be addressed and alleviated through simple off-the-shelf models like BERT trained on more gender inclusive datasets.
• Abstract（参考訳）: AIモデルは広く普及し、一般大衆にも利用できるようになった。 しかし、カラーや非バイナリの人たちのような社会の様々な部分に対する実証可能な偏見から、常にスキャナーの下にある。 本研究では,非バイナリな個人に対する偏見として,既存のジェンダーアナライザであるuClassify,Readable,HackerFactorの3つを監査する。 これらのツールは、シスジェンダーのバイナリラベルのみを予測するように設計されており、社会の非バイナリメンバーに対する差別につながる。 Redditのコメント(660k)とTumblrの投稿(2.05M)という2つのデータセットをキュレートし、実験の結果、ツールの精度は全プラットフォームで約50%の精度で極めて不正確であることが分かりました。 すべてのプラットフォームにおける非バイナリコメントの予測は、主に女性であり、非バイナリコメントの個人が効果的である社会バイアスを広めている。 これを解決するために、複数の組み合わせでBERTマルチラベル分類器を微調整し、最も現実的にデプロイ可能な設定で約77%の全体的なパフォーマンスと、非バイナリクラスの90%の驚くほど高いパフォーマンスを観察する。 また、小さなデータセット(高価格のため)でゼロショットプロンプトを使用してChatGPTを監査し、RedditとTumblrの組み合わせの平均精度を58%(Redditの総合的な改善結果と合わせて)を観察します。 このように、ChatGPTのような高度に高度なシステムを含む既存のシステムはバイアスを受けており、より良い監査とモデレーションが必要であり、このような社会的バイアスは、より性的な包括的データセットに基づいてトレーニングされたBERTのような単純なオフザシェルフモデルによって対処および緩和可能であることを示す。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects [58.27353205269664]
  本稿では,Paired Stereotype Test (PST) フレームワークを提案する。 PSTクエリT2Iモデルは、男性ステレオタイプと女性ステレオタイプに割り当てられた2つの個人を描写する。 PSTを用いて、ジェンダーバイアスの2つの側面、つまり、ジェンダーの職業におけるよく知られたバイアスと、組織力におけるバイアスという新しい側面を評価する。
  論文  参考訳（メタデータ） (2024-02-16T21:32:27Z)
• ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text [11.085070600065801]
  言語は、社会的信念システムの顕在化のための強力なツールとして機能する。 ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。 我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
  論文  参考訳（メタデータ） (2023-10-26T14:34:06Z)
• "I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation [69.25368160338043]
  トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。 オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。 我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
  論文  参考訳（メタデータ） (2023-05-17T04:21:45Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• Transgender Community Sentiment Analysis from Social Media Data: A Natural Language Processing Approach [3.044968666863866]
  トランスジェンダーのコミュニティは、一般人口と比較して精神状態に大きな格差を経験している。 本研究では,トランスジェンダーが投稿した300のソーシャルメディアコメントを,否定的,肯定的,中立的な感情に分類する。
  論文  参考訳（メタデータ） (2020-10-25T08:13:34Z)
• Gender Classification and Bias Mitigation in Facial Images [7.438105108643341]
  最近の研究では、バイアス付きベンチマークデータベースでトレーニングされたアルゴリズムがアルゴリズムバイアスをもたらす可能性があることが示されている。 顔認証と性別分類タスクのための既存のベンチマークデータベースについて調査を行った。 我々は、分類精度の向上と、拡張ベンチマークデータベースでトレーニングされたベースラインモデルにおけるアルゴリズムバイアスの軽減に取り組みました。
  論文  参考訳（メタデータ） (2020-07-13T01:09:06Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。