論文の概要: Large Language Models are Geographically Biased
- arxiv url: http://arxiv.org/abs/2402.02680v1
- Date: Mon, 5 Feb 2024 02:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 18:13:21.487683
- Title: Large Language Models are Geographically Biased
- Title(参考訳): 大きな言語モデルは地理的に偏っている
- Authors: Rohin Manvi, Samar Khanna, Marshall Burke, David Lobell, Stefano Ermon
- Abstract要約: 我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
- 参考スコア(独自算出の注目度): 51.37609528538606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) inherently carry the biases contained in their
training corpora, which can lead to the perpetuation of societal harm. As the
impact of these foundation models grows, understanding and evaluating their
biases becomes crucial to achieving fairness and accuracy. We propose to study
what LLMs know about the world we live in through the lens of geography. This
approach is particularly powerful as there is ground truth for the numerous
aspects of human life that are meaningfully projected onto geographic space
such as culture, race, language, politics, and religion. We show various
problematic geographic biases, which we define as systemic errors in geospatial
predictions. Initially, we demonstrate that LLMs are capable of making accurate
zero-shot geospatial predictions in the form of ratings that show strong
monotonic correlation with ground truth (Spearman's $\rho$ of up to 0.89). We
then show that LLMs exhibit common biases across a range of objective and
subjective topics. In particular, LLMs are clearly biased against locations
with lower socioeconomic conditions (e.g. most of Africa) on a variety of
sensitive subjective topics such as attractiveness, morality, and intelligence
(Spearman's $\rho$ of up to 0.70). Finally, we introduce a bias score to
quantify this and find that there is significant variation in the magnitude of
bias across existing LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は本質的に、トレーニングコーパスに含まれるバイアスを持ち、社会的害の永続性につながる可能性がある。
これらの基礎モデルの影響が大きくなるにつれて、バイアスの理解と評価が公平性と正確性を達成する上で不可欠となる。
我々は、地理のレンズを通して、llmが世界について何を知っているかを研究することを提案する。
このアプローチは、文化、人種、言語、政治、宗教といった地理的空間に有意義に投影される人間の生活の多くの側面に根拠のある真実があるため、特に強力である。
地理空間予測において,システム的誤りと定義する,様々な問題のある地理的バイアスを示す。
当初、LLMは、地上の真実と強いモノトニックな相関を示す評価(Spearmanの$\rho$最大0.89)の形で正確なゼロショット地理空間予測を行うことができることを示した。
次に, LLMは, 目的, 主観的なトピックに共通するバイアスを示すことを示す。
特にllmは、魅力的さ、道徳性、知性といった様々な敏感な主観的な話題(spearmanの$\rho$ は 0.70 まで)において、より低い社会経済的状況(例えばアフリカの大部分)の場所に対して明らかに偏っている。
最後に,これを定量化するためにバイアススコアを導入し,既存のllmにまたがるバイアスの大きさに有意な変動があることを見いだす。
関連論文リスト
- Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。
本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。
より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
論文 参考訳(メタデータ) (2023-10-26T17:07:50Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and
Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的あるいは否定的な感情の偏見を広く保持するか否かを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - Gender bias and stereotypes in Large Language Models [0.6882042556551611]
本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。
我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。
a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3~6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
論文 参考訳(メタデータ) (2023-08-28T22:32:05Z) - The Unequal Opportunities of Large Language Models: Revealing
Demographic Bias through Job Recommendations [5.898806397015801]
大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。
本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。
両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
論文 参考訳(メタデータ) (2023-08-03T21:12:54Z) - Geographic and Geopolitical Biases of Language Models [43.62238334380897]
プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。
以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。
最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
論文 参考訳(メタデータ) (2022-12-20T16:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。