論文の概要: Measuring Stereotype and Deviation Biases in Large Language Models
- arxiv url: http://arxiv.org/abs/2508.06649v2
- Date: Mon, 18 Aug 2025 20:38:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.618983
- Title: Measuring Stereotype and Deviation Biases in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるステレオタイプと逸脱バイアスの測定
- Authors: Daniel Wang, Eli Brignac, Minjia Mao, Xiao Fang,
- Abstract要約: 大規模言語モデル(LLM)は多様なドメインに広く適用されており、その制限や潜在的なリスクに対する懸念を提起している。
本研究では, LLMが示す2種類のバイアス, ステレオタイプバイアスと偏差バイアスについて検討した。
- 参考スコア(独自算出の注目度): 1.8311821879979955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are widely applied across diverse domains, raising concerns about their limitations and potential risks. In this study, we investigate two types of bias that LLMs may display: stereotype bias and deviation bias. Stereotype bias refers to when LLMs consistently associate specific traits with a particular demographic group. Deviation bias reflects the disparity between the demographic distributions extracted from LLM-generated content and real-world demographic distributions. By asking four advanced LLMs to generate profiles of individuals, we examine the associations between each demographic group and attributes such as political affiliation, religion, and sexual orientation. Our experimental results show that all examined LLMs exhibit both significant stereotype bias and deviation bias towards multiple groups. Our findings uncover the biases that occur when LLMs infer user attributes and shed light on the potential harms of LLM-generated outputs.
- Abstract(参考訳): 大規模言語モデル(LLM)は多様なドメインに広く適用されており、その制限や潜在的なリスクに対する懸念を提起している。
本研究では, LLMが示す2種類のバイアス, ステレオタイプバイアスと偏差バイアスについて検討した。
ステレオタイプバイアス(ステレオタイプバイアス)とは、LSMが特定の特性と特定の人口集団を一貫して関連付けることを指す。
偏差バイアスは, LLM生成コンテンツから抽出した人口分布と実世界の人口分布の差を反映する。
先進的な4つのLSMに個人のプロフィールを作成するよう依頼することで、各人口層群と政治的親和性、宗教、性的指向などの属性との関連性を検討する。
実験の結果,LLMはいずれも有意なステレオタイプバイアスと複数のグループに対する偏差バイアスを示した。
この結果から,LCMがユーザ特性を推測し,LCM出力の潜在的影響に光を当てると生じるバイアスが明らかになった。
関連論文リスト
- Veracity Bias and Beyond: Uncovering LLMs' Hidden Beliefs in Problem-Solving Reasoning [4.452208564152158]
人口統計学的ステレオタイプに対する人間の価値整合モデルとの整合性にもかかわらず、様々な社会的文脈下でバイアスを示すことが示されている。
帰属バイアス(Attribution Bias)は、特定の人口集団に対する正しい解を不均等に属性するものであり、評価バイアス(Access Bias)とは、同一の解に対するモデルの評価が、認識された人口集団の権威に基づいて異なるものである。
以上の結果から, 人口統計学的偏見は, 表面レベルのステレオタイプや社会的文脈的挑発を超えて, 教育・評価環境におけるLCMの展開に対する懸念が高まることが示唆された。
論文 参考訳(メタデータ) (2025-05-22T02:13:48Z) - Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models [6.549047699071195]
本研究では、大規模言語モデルにおける政治的行動を評価するために、ペルソナフリーでトピック固有のアプローチを採用する。
米国、ヨーロッパ、中国、中東で開発された43の大規模言語モデルからの反応を分析した。
発見は、ほとんどのモデルが中心左あるいは左イデオロギー的にリーンであり、非党派的エンゲージメントパターンが異なることを示している。
論文 参考訳(メタデータ) (2024-12-21T19:42:40Z) - LLMs are Biased Teachers: Evaluating LLM Bias in Personalized Education [6.354025374447606]
パーソナライズされた教育環境において,大きな言語モデル(LLM)をバイアスとして評価する。
我々は、異なる人口集団に合わせた教育コンテンツをモデルが生成し、選択する方法について、重大なバイアスを明らかにした。
論文 参考訳(メタデータ) (2024-10-17T20:27:44Z) - Bias and Volatility: A Statistical Framework for Evaluating Large Language Model's Stereotypes and the Associated Generation Inconsistency [33.17945055081054]
現在のアライメント評価指標は、大言語モデルの一貫性のない生成行動に起因するステレオタイプのランダム性を見落としていることが多い。
LLM出力におけるステレオタイプの確率分布を推定するBias-Volatility Framework (BVF)を提案する。
論文 参考訳(メタデータ) (2024-02-23T18:15:56Z) - A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。
このサンプリング行動が人間の意思決定と類似していることが示される。
統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Large Language Models are Geographically Biased [47.88767211956144]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。