論文の概要: Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2403.14633v3
• Date: Tue, 16 Apr 2024 17:14:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 22:26:44.314991
• Title: Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models
• Title（参考訳）: 銀のスポンで生まれる : 大規模言語モデルにおける社会経済バイアスの調査
• Authors: Smriti Singh, Shuvam Keshari, Vinija Jain, Aman Chadha,
• Abstract要約: 大規模言語モデルで表現される社会経済的バイアスの度合いと,この度合いの変動をモデルサイズの関数として評価した。 分析の結果, 社会的に劣悪な言語モデルでは, 社会経済的に劣悪な言語モデルに共感できないことが判明した。
• 参考スコア（独自算出の注目度）: 1.4436965372953483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Socioeconomic bias in society exacerbates disparities, influencing access to opportunities and resources based on individuals' economic and social backgrounds. This pervasive issue perpetuates systemic inequalities, hindering the pursuit of inclusive progress as a society. In this paper, we investigate the presence of socioeconomic bias, if any, in large language models. To this end, we introduce a novel dataset SilverSpoon, consisting of 3000 samples that illustrate hypothetical scenarios that involve underprivileged people performing ethically ambiguous actions due to their circumstances, and ask whether the action is ethically justified. Further, this dataset has a dual-labeling scheme and has been annotated by people belonging to both ends of the socioeconomic spectrum. Using SilverSpoon, we evaluate the degree of socioeconomic bias expressed in large language models and the variation of this degree as a function of model size. We also perform qualitative analysis to analyze the nature of this bias. Our analysis reveals that while humans disagree on which situations require empathy toward the underprivileged, most large language models are unable to empathize with the socioeconomically underprivileged regardless of the situation. To foster further research in this domain, we make SilverSpoon and our evaluation harness publicly available.
• Abstract（参考訳）: 社会経済の偏見は格差を増し、個人の経済的・社会的背景に基づく機会や資源へのアクセスに影響を及ぼす。 この広範囲にわたる問題は、社会としての包括的進歩の追求を妨げる、体系的な不平等を持続させる。 本稿では,大規模言語モデルにおける社会経済バイアスの存在について検討する。 この目的のために, 未成年者が倫理的に曖昧な行動を行うという仮説上のシナリオを示す3000のサンプルからなる新しいデータセットSilverSpoonを導入し, 倫理的に正当化されるか否かを問う。 さらに、このデータセットには二重ラベル方式があり、社会経済スペクトルの両端に属する人々によって注釈付けされている。 我々はSilverSpoonを用いて,大規模言語モデルで表現される社会経済バイアスの度合いと,この度合いの変動をモデルサイズの関数として評価した。 我々はまた、このバイアスの性質を分析するために定性的分析を行う。 分析の結果, 社会的に劣悪な言語モデルでは, 社会経済的に劣悪な言語モデルに共感できないことが判明した。 この領域のさらなる研究を促進するため、SilverSpoonと評価ハーネスを公開しています。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Uncovering Political Bias in Emotion Inference Models: Implications for sentiment analysis in social science research [0.0]
  本稿では、社会科学研究における感情分析(SA)に使用される機械学習モデルにおける政治的バイアスの存在について検討する。 ポーランドの感情分析モデルを用いた偏見調査を行った。 以上の結果から, 人間のラテンダーによるアノテーションは, モデルの予測に政治的偏見を伝播させることが示唆された。
  論文  参考訳（メタデータ） (2024-07-18T20:31:07Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Understanding Intrinsic Socioeconomic Biases in Large Language Models [4.276697874428501]
  本稿では,社会経済的バイアスを定量化するために,100万の英語文からなる新しいデータセットを提案する。 以上の結果から,GPT-2のような確立されたモデルと,Llama 2やFalconのような最先端のモデルの両方において,社会経済的バイアスが広範にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-28T23:54:44Z)
• When Dialects Collide: How Socioeconomic Mixing Affects Language Use [0.0]
  より異なる社会経済階級が混在するほど、標準文法からの離脱頻度と収入の相互依存度は低下する。 本稿では,データに見られる観察結果を生成するメカニズムに光を当てる,言語多様性導入のエージェントベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-19T14:55:50Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Toward Understanding Bias Correlations for Mitigation in NLP [34.956581421295]
  この研究は、緩和におけるバイアスの相関を理解するための最初の体系的な研究を提供することを目的としている。 我々は2つの共通NLPタスク(毒性検出と単語埋め込み)におけるバイアス緩和について検討する。 以上の結果から, 偏見は相関し, 独立性脱バイアスアプローチが不十分な現状が示唆された。
  論文  参考訳（メタデータ） (2022-05-24T22:48:47Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Towards Debiasing Sentence Representations [109.70181221796469]
  Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
  論文  参考訳（メタデータ） (2020-07-16T04:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。