論文の概要: Non-discrimination Criteria for Generative Language Models
- arxiv url: http://arxiv.org/abs/2403.08564v1
- Date: Wed, 13 Mar 2024 14:19:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:11:07.702232
- Title: Non-discrimination Criteria for Generative Language Models
- Title（参考訳）: 生成言語モデルにおける非識別基準
- Authors: Sara Sterlie, Nina Weng, Aasa Feragen
- Abstract要約: 本稿では、生成言語モデルにおけるジェンダーバイアスの存在を解明し、定量化する方法について研究する。
我々は、独立性、分離性、充足性という3つのよく知られた非識別基準のジェネレーティブAIアナログを導出する。
本研究は,このような対話型言語モデルにおける職業性バイアスの存在に対処するものである。
- 参考スコア（独自算出の注目度）: 5.325297567945828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Within recent years, generative AI, such as large language models, has
undergone rapid development. As these models become increasingly available to
the public, concerns arise about perpetuating and amplifying harmful biases in
applications. Gender stereotypes can be harmful and limiting for the
individuals they target, whether they consist of misrepresentation or
discrimination. Recognizing gender bias as a pervasive societal construct, this
paper studies how to uncover and quantify the presence of gender biases in
generative language models. In particular, we derive generative AI analogues of
three well-known non-discrimination criteria from classification, namely
independence, separation and sufficiency. To demonstrate these criteria in
action, we design prompts for each of the criteria with a focus on occupational
gender stereotype, specifically utilizing the medical test to introduce the
ground truth in the generative AI context. Our results address the presence of
occupational gender bias within such conversational language models.
- Abstract（参考訳）: 近年では、大規模な言語モデルなどの生成AIが急速に発展している。
これらのモデルが一般に普及するにつれて、アプリケーションにおける有害なバイアスの持続性と増幅に関する懸念が生じる。
性別のステレオタイプは、彼らが対象とする個人に対して有害で制限されうる。
本稿では、ジェンダーバイアスを広汎な社会的構成として認識し、生成言語モデルにおけるジェンダーバイアスの存在を明らかにする方法と定量化方法について考察する。
特に、独立性、分離性、充足性という3つのよく知られた非識別基準のジェネレーティブAIアナログを導出する。
これらの基準を実際に実施するために、我々は、職業性ステレオタイプに焦点を当てた各基準のためのプロンプトを設計し、特に、医療試験を利用して、生成的AIコンテキストに基礎的真理を導入する。
本研究は,このような対話型言語モデルにおける職業性バイアスの存在に対処するものである。
関連論文リスト
- Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳（メタデータ） (2024-06-30T05:55:15Z) - Evaluating Large Language Models through Gender and Racial Stereotypes [0.0]
質比較研究を行い、性別と人種の2種類の偏見を前提として、言語モデルを評価する枠組みを確立する。
より古いモデルに比べて、新しいモデルでは男女の偏見が大幅に減少したが、人種の偏見は依然として存在する。
論文 参考訳（メタデータ） (2023-11-24T18:41:16Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳（メタデータ） (2023-11-01T05:31:46Z) - Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and
Addressing Sociological Implications [0.0]
この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。
この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。
本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
論文 参考訳（メタデータ） (2023-07-18T11:38:45Z) - Efficient Gender Debiasing of Pre-trained Indic Language Models [0.0]
言語モデルが事前訓練されたデータに存在する性別バイアスは、これらのモデルを使用するシステムに反映される。
本稿では,ヒンディー語モデルにおける職業に関する性別バイアスを測定した。
以上の結果から,提案手法の適応後のバイアスが低減されることが示唆された。
論文 参考訳（メタデータ） (2022-09-08T09:15:58Z) - Are Commercial Face Detection Models as Biased as Academic Models? [64.71318433419636]
我々は学術的および商業的な顔検出システムを比較し、特にノイズに対する堅牢性について検討する。
現状の学術的顔検出モデルでは、ノイズの頑健性に人口格差があることがわかった。
私たちは、商用モデルは、常に学術モデルと同じくらいの偏り、あるいはより偏りがある、と結論付けます。
論文 参考訳（メタデータ） (2022-01-25T02:21:42Z) - A Survey on Gender Bias in Natural Language Processing [22.91475787277623]
自然言語処理における性別バイアスに関する304論文について調査する。
ジェンダーバイアスの検出と緩和に対するコントラストアプローチの比較を行った。
性別偏見の研究は、4つの中核的な限界に悩まされている。
論文 参考訳（メタデータ） (2021-12-28T14:54:18Z) - Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
推論による自然言語理解における性別バイアスの評価手法を提案する。
チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。
その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
論文 参考訳（メタデータ） (2021-05-12T09:41:51Z) - How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。
一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。
特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文 参考訳（メタデータ） (2021-02-08T11:10:27Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。