Fugu-MT 論文翻訳(概要): Casteist but Not Racist? Quantifying Disparities in Large Language Model Bias between India and the West

論文の概要: Casteist but Not Racist? Quantifying Disparities in Large Language Model Bias between India and the West

arxiv url: http://arxiv.org/abs/2309.08573v1
Date: Fri, 15 Sep 2023 17:38:41 GMT
ステータス: 処理完了
システム内更新日: 2023-09-18 13:30:56.703705
Title: Casteist but Not Racist? Quantifying Disparities in Large Language Model Bias between India and the West
Title（参考訳）: キャスティストでも人種差別主義者でも? インドと西洋の大規模言語モデルバイアスにおける差異の定量化
Authors: Khyati Khandelwal, Manuel Tonneau, Andrew M. Bean, Hannah Rose Kirk, Scott A. Hale
Abstract要約: 大規模言語モデル(LLM)は社会的バイアスを符号化し、ユーザを表現上の害に晒す。我々は、インド中心の枠組みに従って、人気のあるLLMにおけるステレオタイプバイアスを定量化し、インドと西洋の文脈間のバイアスレベルを比較する。テストされたLLMの大多数は、特に西洋の文脈と比較して、インドの文脈におけるステレオタイプに強く偏っていることがわかった。
参考スコア（独自算出の注目度）: 19.286414041202818
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs), now used daily by millions of users, can encode societal biases, exposing their users to representational harms. A large body of scholarship on LLM bias exists but it predominantly adopts a Western-centric frame and attends comparatively less to bias levels and potential harms in the Global South. In this paper, we quantify stereotypical bias in popular LLMs according to an Indian-centric frame and compare bias levels between the Indian and Western contexts. To do this, we develop a novel dataset which we call Indian-BhED (Indian Bias Evaluation Dataset), containing stereotypical and anti-stereotypical examples for caste and religion contexts. We find that the majority of LLMs tested are strongly biased towards stereotypes in the Indian context, especially as compared to the Western context. We finally investigate Instruction Prompting as a simple intervention to mitigate such bias and find that it significantly reduces both stereotypical and anti-stereotypical biases in the majority of cases for GPT-3.5. The findings of this work highlight the need for including more diverse voices when evaluating LLMs.
Abstract（参考訳）: 数百万のユーザが毎日使用しているLarge Language Models(LLM)は、社会的バイアスをエンコードし、ユーザを表現上の害に晒す。 LLMバイアスに関する多くの奨学金は存在するが、主に西洋中心の枠組みを採用し、グローバル・サウスのバイアスレベルや潜在的な害に比較的少ない。本稿では,インド中心の枠組みに従って,人気のあるLLMのステレオタイプバイアスを定量化し,インドと西洋の文脈のバイアスレベルを比較する。そこで我々は,インド・バイアス評価データセット(Indian Bias Evaluation Dataset)と呼ばれる新しいデータセットを開発した。テストされたllmの大部分は、特に西洋の文脈と比較して、インド文脈のステレオタイプに強く偏っていることが分かりました。 GPT-3.5の多数症例において,これらのバイアスを緩和するための簡単な介入としてインストラクション・プロンプティングを検討した。この研究の成果は、LSMを評価する際に、より多様な音声を含める必要性を強調している。

関連論文リスト

Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models [0.0]
我々は、Large Language Models (LLMs) において同様のバイアスをアノテーションとしてテストする。人間とは違い、極端に左派や右派からの発言を誘発しても、LSMは顕著な偏見を呈する。
論文参考訳（メタデータ） (2024-08-28T16:05:20Z)
Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文参考訳（メタデータ） (2024-08-14T16:55:06Z)
Who is better at math, Jenny or Jingzhen? Uncovering Stereotypes in Large Language Models [9.734705470760511]
我々はGlobalBiasを使って世界中の幅広いステレオタイプを研究しています。与えられた名前に基づいて文字プロファイルを生成し、モデル出力におけるステレオタイプの有効性を評価する。
論文参考訳（メタデータ） (2024-07-09T14:52:52Z)
White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
社会的偏見は言語機関に現れることがある。本稿では,言語庁バイアス評価ベンチマークを紹介する。我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
論文参考訳（メタデータ） (2024-04-16T12:27:54Z)
Large Language Models are Geographically Biased [47.88767211956144]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文参考訳（メタデータ） (2024-02-05T02:32:09Z)
GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-11T12:02:14Z)
What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
論文参考訳（メタデータ） (2023-11-30T18:53:13Z)
Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文参考訳（メタデータ） (2023-11-08T18:52:17Z)
Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
論文参考訳（メタデータ） (2023-09-16T07:07:04Z)
Gender bias and stereotypes in Large Language Models [0.6882042556551611]
本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
論文参考訳（メタデータ） (2023-08-28T22:32:05Z)
CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
論文参考訳（メタデータ） (2020-09-30T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。