論文の概要: White Men Lead, Black Women Help: Uncovering Gender, Racial, and Intersectional Bias in Language Agency

• arxiv url: http://arxiv.org/abs/2404.10508v1
• Date: Tue, 16 Apr 2024 12:27:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 16:53:59.439806
• Title: White Men Lead, Black Women Help: Uncovering Gender, Racial, and Intersectional Bias in Language Agency
• Title（参考訳）: 白人男性、黒人女性、ジェンダー、ラシアル、インターセクションのバイアス発見
• Authors: Yixin Wan, Kai-Wei Chang,
• Abstract要約: 言語エージェンシーにおける社会的バイアスは、人書きと大規模言語モデル(LLM)の生成したテキストの両方に現れる。 本研究では,人文・大規模言語モデル(LLM)生成テキストの社会的偏見を研究する上で,エージェンシーを重要な側面として位置づける。
• 参考スコア（独自算出の注目度）: 58.27353205269664
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Social biases can manifest in language agency. For instance, White individuals and men are often described as "agentic" and achievement-oriented, whereas Black individuals and women are frequently described as "communal" and as assisting roles. This study establishes agency as an important aspect of studying social biases in both human-written and Large Language Model (LLM)-generated texts. To accurately measure "language agency" at sentence level, we propose a Language Agency Classification dataset to train reliable agency classifiers. We then use an agency classifier to reveal notable language agency biases in 6 datasets of human- or LLM-written texts, including biographies, professor reviews, and reference letters. While most prior NLP research on agency biases focused on single dimensions, we comprehensively explore language agency biases in gender, race, and intersectional identities. We observe that (1) language agency biases in human-written texts align with real-world social observations; (2) LLM-generated texts demonstrate remarkably higher levels of language agency bias than human-written texts; and (3) critical biases in language agency target people of minority groups--for instance, languages used to describe Black females exhibit the lowest level of agency across datasets. Our findings reveal intricate social biases in human- and LLM-written texts through the lens of language agency, warning against using LLM generations in social contexts without scrutiny.
• Abstract（参考訳）: 社会的偏見は言語機関に現れることがある。 例えば、白人の個人や男性は「芸術的」で達成志向と表現されることが多いが、黒人の個人や女性はしばしば「共同体」と表現される。 本研究では,人文・大規模言語モデル(LLM)生成テキストの社会的偏見を研究する上で,エージェンシーを重要な側面として位置づける。 文レベルで「言語エージェンシー」を正確に測定するために,信頼度の高いエージェンシー分類器を訓練するための言語エージェンシー分類データセットを提案する。 次に、エージェント分類器を用いて、人文やLLMで書かれたテキストの6つのデータセットに、バイオグラフィー、教授レビュー、参照レターを含む、注目すべき言語機関のバイアスを明らかにする。 これまでのNLP研究は単一次元に焦点をあてていたが、ジェンダー、人種、交差点のアイデンティティにおける言語エージェンシーバイアスを包括的に調査した。 本研究では,(1)人文テキストにおける言語エージェンシーのバイアスが実世界の社会観測と一致していること,(2) LLM生成テキストは人文テキストよりも言語エージェンシーのバイアスが著しく高いこと,(3)少数民族を対象にした言語エージェンシーの批判的バイアスは,例えば,黒人女性を表現するために使用される言語は,データセット全体で最も低いエージェンシーのレベルを示すことを観察する。 以上の結果から,言語エージェントのレンズによる人文やLLM文の社会的偏見が複雑であること,社会文脈におけるLLM世代の使用を精査せずに警告すること,などが判明した。

関連論文リスト

• Gender Bias in LLM-generated Interview Responses [1.6124402884077915]
  本研究は, モデル, 質問タイプ, 職種にまたがって, LLM生成面接応答の多面的監査を行うための3つのLCMを評価した。 その結果,男女の偏見は一貫しており,性別のステレオタイプや仕事の優位性と密接に一致していることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T05:08:08Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
  我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。 以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-27T19:26:11Z)
• Hire Me or Not? Examining Language Model's Behavior with Occupation Attributes [7.718858707298602]
  大規模言語モデル(LLM)は、採用やレコメンデーションシステムなど、プロダクションパイプラインに広く統合されている。 本稿では、職業意思決定の文脈において、ジェンダーステレオタイプに関するLCMの行動について検討する。
  論文  参考訳（メタデータ） (2024-05-06T18:09:32Z)
• Gender Bias in Large Language Models across Multiple Languages [10.068466432117113]
  異なる言語で生成される大言語モデル(LLM)の性別バイアスについて検討する。 1) 性別関連文脈から記述的単語を選択する際の性別バイアス。 2) 性別関連代名詞を選択する際の性別バイアスは, 記述語を付与する。
  論文  参考訳（メタデータ） (2024-03-01T04:47:16Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Queer People are People First: Deconstructing Sexual Identity Stereotypes in Large Language Models [3.974379576408554]
  大規模言語モデル(LLM)は、主に最小処理のWebテキストに基づいて訓練される。 LLMはLGBTQIA+コミュニティのような、疎外されたグループに対して必然的にステレオタイプを永続させることができる。
  論文  参考訳（メタデータ） (2023-06-30T19:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。