論文の概要: Large Language Models are Geographically Biased

• arxiv url: http://arxiv.org/abs/2402.02680v2
• Date: Sat, 05 Oct 2024 18:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 18:01:04.321234
• Title: Large Language Models are Geographically Biased
• Title（参考訳）: 大規模言語モデルは地理的にバイアスがかかる
• Authors: Rohin Manvi, Samar Khanna, Marshall Burke, David Lobell, Stefano Ermon,
• Abstract要約: 我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
• 参考スコア（独自算出の注目度）: 47.88767211956144
• License:
• Abstract: Large Language Models (LLMs) inherently carry the biases contained in their training corpora, which can lead to the perpetuation of societal harm. As the impact of these foundation models grows, understanding and evaluating their biases becomes crucial to achieving fairness and accuracy. We propose to study what LLMs know about the world we live in through the lens of geography. This approach is particularly powerful as there is ground truth for the numerous aspects of human life that are meaningfully projected onto geographic space such as culture, race, language, politics, and religion. We show various problematic geographic biases, which we define as systemic errors in geospatial predictions. Initially, we demonstrate that LLMs are capable of making accurate zero-shot geospatial predictions in the form of ratings that show strong monotonic correlation with ground truth (Spearman's $\rho$ of up to 0.89). We then show that LLMs exhibit common biases across a range of objective and subjective topics. In particular, LLMs are clearly biased against locations with lower socioeconomic conditions (e.g. most of Africa) on a variety of sensitive subjective topics such as attractiveness, morality, and intelligence (Spearman's $\rho$ of up to 0.70). Finally, we introduce a bias score to quantify this and find that there is significant variation in the magnitude of bias across existing LLMs. Code is available on the project website: https://rohinmanvi.github.io/GeoLLM
• Abstract（参考訳）: 大規模言語モデル(LLM)は本質的に、トレーニングコーパスに含まれるバイアスを持ち、社会的害の永続性につながる可能性がある。 これらの基礎モデルの影響が大きくなるにつれて、そのバイアスを理解して評価することが、公平性と正確性を達成する上で重要である。 我々は、地理のレンズを通して、LLMが我々の住む世界について何を知っているかを研究することを提案する。 このアプローチは、文化、人種、言語、政治、宗教といった地理的空間に有意義に投影される人間の生活の多くの側面に基礎的な真実が存在するため、特に強力である。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。 当初、LLMは、地上の真実と強いモノトニックな相関を示す評価(Spearmanの$\rho$最大0.89)の形で、正確なゼロショット地理空間予測を行うことができることを示した。 次に, LLMは, 目的, 主観的なトピックに共通するバイアスを示すことを示す。 特に、LLMは、魅力、道徳、知性(Spearman's $\rho$ 最大 0.70)など、様々な敏感な主観的なトピックについて、社会経済的条件の低い場所(例えばアフリカの大半)に対して明らかに偏っている。 最後に、これを定量化するためにバイアススコアを導入し、既存のLCM間でバイアスの大きさに有意なばらつきがあることを見出した。 コードはプロジェクトのWebサイト(https://rohinmanvi.github.io/GeoLLM)で公開されている。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• LLMs are Biased Teachers: Evaluating LLM Bias in Personalized Education [6.354025374447606]
  パーソナライズされた教育環境において,大きな言語モデル(LLM)をバイアスとして評価する。 我々は、異なる人口集団に合わせた教育コンテンツをモデルが生成し、選択する方法について、重大なバイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-10-17T20:27:44Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
  大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。 本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。 両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
  論文  参考訳（メタデータ） (2023-08-03T21:12:54Z)
• Geographic and Geopolitical Biases of Language Models [43.62238334380897]
  プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。 以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。 最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
  論文  参考訳（メタデータ） (2022-12-20T16:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。