論文の概要: ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text

• arxiv url: http://arxiv.org/abs/2310.17428v1
• Date: Thu, 26 Oct 2023 14:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 19:59:42.217661
• Title: ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text
• Title（参考訳）: 'fifty shades of bias'--gpt生成英語テキストにおける性バイアスの規範的評価
• Authors: Rishav Hada, Agrima Seth, Harshita Diddee, Kalika Bali
• Abstract要約: 言語は、社会的信念システムの顕在化のための強力なツールとして機能する。 ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。 我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
• 参考スコア（独自算出の注目度）: 11.085070600065801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language serves as a powerful tool for the manifestation of societal belief systems. In doing so, it also perpetuates the prevalent biases in our society. Gender bias is one of the most pervasive biases in our society and is seen in online and offline discourses. With LLMs increasingly gaining human-like fluency in text generation, gaining a nuanced understanding of the biases these systems can generate is imperative. Prior work often treats gender bias as a binary classification task. However, acknowledging that bias must be perceived at a relative scale; we investigate the generation and consequent receptivity of manual annotators to bias of varying degrees. Specifically, we create the first dataset of GPT-generated English text with normative ratings of gender bias. Ratings were obtained using Best--Worst Scaling -- an efficient comparative annotation framework. Next, we systematically analyze the variation of themes of gender biases in the observed ranking and show that identity-attack is most closely related to gender bias. Finally, we show the performance of existing automated models trained on related concepts on our dataset.
• Abstract（参考訳）: 言語は、社会的信念システムの顕在化のための強力なツールである。 そうすることで、社会における一般的なバイアスも持続するのです。 ジェンダーバイアスは我々の社会で最も広く普及しているバイアスの1つであり、オンラインとオフラインの会話で見られる。 LLMはテキスト生成において人間のように流布しやすくなっているため、これらのシステムが生み出すバイアスの微妙な理解を得ることが不可欠である。 以前の仕事は、しばしば男女の偏見を二項分類タスクとして扱う。 しかし, バイアスは相対的な尺度で認識されなければならないことを認め, 各種の度合いのバイアスに対する手動アノテータの生成と受容性について検討する。 具体的には、ジェンダーバイアスの規範的評価を伴うGPT生成英語テキストの最初のデータセットを作成する。 評価はBest-Worst Scaling -- 効率的な比較アノテーションフレームワークを使って得られた。 次に,観察されたランキングにおける性別バイアスの変動を体系的に分析し,アイデンティティ攻撃が性別バイアスと最も密接に関連していることを示す。 最後に、データセット上の関連する概念に基づいてトレーニングされた既存の自動モデルの性能を示す。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Are Models Biased on Text without Gender-related Language? [14.931375031931386]
  ステレオタイプフリーシナリオにおけるジェンダーバイアスを調査するための新しいフレームワークUnStereoEval(USE)を紹介する。 USEは事前学習データ統計に基づいて文レベルスコアを定義し、その文が単語と性別の関連が最小限であるかどうかを判定する。 28の試験モデルにおいて、偏見が低いことは、偏見が単にジェンダー関連の単語の存在に由来するものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-01T15:51:15Z)
• Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation [0.0]
  既存の評価ベンチマークは主に翻訳のソース言語としての英語に焦点を当てている。 英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いる。 本研究は,ソースコード中の文法的ジェンダーマーカーを考慮に入れたバイアス評価テストセットの調整の重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-11T09:28:43Z)
• Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation [0.0]
  我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。 本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-07T07:09:59Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• "I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation [69.25368160338043]
  トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。 オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。 我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
  論文  参考訳（メタデータ） (2023-05-17T04:21:45Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Gender Bias in Text: Labeled Datasets and Lexicons [0.30458514384586394]
  性別バイアスの自動検出には、性別バイアスデータセットと語彙の欠如がある。 関連文の収集,注釈付け,拡張によりラベル付きデータセットと網羅的辞書を提供する。 リリースされたデータセットとレキシコンは、Generic He、Generic She、Explicit Marking of Sex、Gendered Neologismsなど、複数のバイアスサブタイプにまたがっている。
  論文  参考訳（メタデータ） (2022-01-21T12:44:51Z)
• Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by Ranking Algorithms [68.85295025020942]
  本稿では,性別ステレオタイプをサポートする検索エンジンの傾向を定量化するジェンダーステレオタイプ強化(GSR)尺度を提案する。 GSRは、表現上の害を定量化できる情報検索のための、最初の特別に調整された尺度である。
  論文  参考訳（メタデータ） (2020-09-02T20:45:04Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。