論文の概要: Survey on Sociodemographic Bias in Natural Language Processing
- arxiv url: http://arxiv.org/abs/2306.08158v3
- Date: Tue, 22 Aug 2023 00:55:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 20:51:06.171884
- Title: Survey on Sociodemographic Bias in Natural Language Processing
- Title(参考訳): 自然言語処理におけるソシオドモグラフィーバイアスの実態調査
- Authors: Vipul Gupta, Pranav Narayanan Venkit, Shomir Wilson, Rebecca J.
Passonneau
- Abstract要約: 本研究は、自然言語処理(NLP)における社会デマトグラフィーバイアスに関連する214の論文を調査する。
NLPバイアス研究の主な3つのカテゴリは、バイアスの種類、定量化バイアス、脱バイアス技術である。
バイアスの定量化に関する現在のアプローチは信頼性の問題に直面しており、バイアス指標の多くは現実のバイアスとは関係がなく、デバイアス技術はトレーニング方法にもっと集中する必要があると結論付けている。
- 参考スコア(独自算出の注目度): 8.01539480296785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks often learn unintended bias during training, which might
have harmful effects when deployed in real-world settings. This work surveys
214 papers related to sociodemographic bias in natural language processing
(NLP). In this study, we aim to provide a more comprehensive understanding of
the similarities and differences among approaches to sociodemographic bias in
NLP. To better understand the distinction between bias and real-world harm, we
turn to ideas from psychology and behavioral economics to propose a definition
for sociodemographic bias. We identify three main categories of NLP bias
research: types of bias, quantifying bias, and debiasing techniques. We
highlight the current trends in quantifying bias and debiasing techniques,
offering insights into their strengths and weaknesses. We conclude that current
approaches on quantifying bias face reliability issues, that many of the bias
metrics do not relate to real-world bias, and that debiasing techniques need to
focus more on training methods. Finally, we provide recommendations for future
work.
- Abstract(参考訳): ディープニューラルネットワークは、トレーニング中に意図しないバイアスを学習することが多い。
本研究は、自然言語処理(NLP)における社会デマトグラフィーバイアスに関連する214の論文を調査した。
本研究では,NLPにおける社会デマログラフバイアスに対するアプローチの類似点と相違点をより包括的に理解することを目的とする。
バイアスと現実世界の害の区別をよりよく理解するために、心理学や行動経済学の考え方に転換し、社会的な偏見の定義を提案する。
NLPバイアス研究の主な3つのカテゴリは、バイアスの種類、定量化バイアス、脱バイアス技術である。
バイアスとデバイアステクニックを定量化する現在のトレンドに注目し,その強みと弱みに関する洞察を提供する。
バイアスの定量化に関する現在のアプローチは信頼性の問題に直面しており、バイアス指標の多くは現実のバイアスとは関係がなく、デバイアス技術はトレーニング方法にもっと集中する必要があると結論付けている。
最後に、今後の仕事について推奨する。
関連論文リスト
- Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。
LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。
我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
論文 参考訳(メタデータ) (2024-03-22T00:59:48Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Diagnosing and Debiasing Corpus-Based Political Bias and Insults in GPT2 [0.0]
大規模な言語モデル (LLMs) をインターネットから流出した未フィルタリングコーパスでトレーニングすることは、一般的で有利なプラクティスである。
近年の研究では、生成事前学習型トランスフォーマー(GPT)言語モデルが、自身のバイアスを認識し、生成されたコンテンツの毒性を検出することが示されている。
本研究は、侮辱と政治的偏見の2つの追加的なバイアスを緩和する診断・偏見的アプローチの有効性について検討した。
論文 参考訳(メタデータ) (2023-11-17T01:20:08Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - A survey on bias in machine learning research [0.0]
機械学習におけるバイアスに関する現在の研究は、しばしば公正に焦点を当て、バイアスの根源や原因を見下ろしている。
本稿は、データやモデルにおけるバイアスやエラーの潜在的な源として分類を提供することによって、研究におけるバイアスに関する過去の文献間のギャップを埋めることを目的としている。
論文 参考訳(メタデータ) (2023-08-22T07:56:57Z) - Fair Enough: Standardizing Evaluation and Model Selection for Fairness
Research in NLP [64.45845091719002]
現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。
本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
論文 参考訳(メタデータ) (2023-02-11T14:54:00Z) - Towards an Enhanced Understanding of Bias in Pre-trained Neural Language
Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。
ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。
本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
論文 参考訳(メタデータ) (2022-04-21T18:51:19Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z) - Towards Controllable Biases in Language Generation [87.89632038677912]
本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。
1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
論文 参考訳(メタデータ) (2020-05-01T08:25:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。