Fugu-MT 論文翻訳(概要): Evaluating Large Language Models through Gender and Racial Stereotypes

論文の概要: Evaluating Large Language Models through Gender and Racial Stereotypes

arxiv url: http://arxiv.org/abs/2311.14788v1
Date: Fri, 24 Nov 2023 18:41:16 GMT
ステータス: 処理完了
システム内更新日: 2023-11-30 09:29:24.272496
Title: Evaluating Large Language Models through Gender and Racial Stereotypes
Title（参考訳）: ジェンダーとラシアルステレオタイプによる大規模言語モデルの評価
Authors: Ananya Malik
Abstract要約: 質比較研究を行い、性別と人種の2種類の偏見を前提として、言語モデルを評価する枠組みを確立する。より古いモデルに比べて、新しいモデルでは男女の偏見が大幅に減少したが、人種の偏見は依然として存在する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language Models have ushered a new age of AI gaining traction within the NLP community as well as amongst the general population. AI's ability to make predictions, generations and its applications in sensitive decision-making scenarios, makes it even more important to study these models for possible biases that may exist and that can be exaggerated. We conduct a quality comparative study and establish a framework to evaluate language models under the premise of two kinds of biases: gender and race, in a professional setting. We find out that while gender bias has reduced immensely in newer models, as compared to older ones, racial bias still exists.
Abstract（参考訳）: 言語モデル(Language Models)は、NLPコミュニティと一般市民の間で、AIの新しい時代を後押ししてきた。センシティブな意思決定シナリオにおいて予測、世代、その応用を行うAIの能力は、これらのモデルが存在し、誇張される可能性のあるバイアスについて研究することがさらに重要である。本研究では,2種類の偏見(性別と人種)を前提として,品質比較研究を行い,言語モデルを評価する枠組みを確立する。新しいモデルでは、古いモデルに比べて性バイアスが大幅に減少しているが、人種バイアスは依然として存在する。

関連論文リスト

Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文参考訳（メタデータ） (2024-08-14T16:55:06Z)
Investigating Gender Bias in Turkish Language Models [3.100560442806189]
トルコ語モデルにおけるジェンダーバイアスの重要性について検討する。我々は既存のバイアス評価フレームワークを構築し、それらをトルコ語に拡張する。具体的には、クルド人の民族的偏見を埋め込んだトルコ語モデルを評価する。
論文参考訳（メタデータ） (2024-04-17T20:24:41Z)
Generalizing Fairness to Generative Language Models via Reformulation of Non-discrimination Criteria [4.738231680800414]
本稿では、生成言語モデルにおけるジェンダーバイアスの存在を解明し、定量化する方法について研究する。我々は、独立性、分離性、充足性という3つのよく知られた非識別基準のジェネレーティブAIアナログを導出する。本研究は,このような対話型言語モデルにおける職業性バイアスの存在に対処するものである。
論文参考訳（メタデータ） (2024-03-13T14:19:08Z)
Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文参考訳（メタデータ） (2024-01-29T12:02:28Z)
Towards Auditing Large Language Models: Improving Text-based Stereotype Detection [5.3634450268516565]
i) ジェンダー、人種、職業、宗教のステレオタイプテキストの52,751件を含むマルチグラインステレオタイプデータセットを紹介する。そこで本研究では,新しいデータセットでトレーニングしたモデルについて,厳密に検証する実験を行った。実験によると、マルチクラスの設定でモデルをトレーニングすることは、すべてのバイナリの1つよりも優れている。
論文参考訳（メタデータ） (2023-11-23T17:47:14Z)
Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
論文参考訳（メタデータ） (2023-06-04T08:09:26Z)
The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。性別の表現は動的であり、訓練中に異なる位相を識別する。モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
論文参考訳（メタデータ） (2022-07-21T00:59:04Z)
Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。テキスト生成における社会的バイアスを軽減するためのステップを提案する。我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文参考訳（メタデータ） (2021-06-24T17:52:43Z)
How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文参考訳（メタデータ） (2021-02-08T11:10:27Z)
Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文参考訳（メタデータ） (2020-05-01T21:23:20Z)
Towards Controllable Biases in Language Generation [87.89632038677912]
本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
論文参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。