論文の概要: StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.13673v2
- Date: Tue, 31 Oct 2023 16:41:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 22:13:58.071644
- Title: StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large
Language Models
- Title(参考訳): StereoMap:大規模言語モデルにおける人間のようなステレオタイプ認識の定量化
- Authors: Sullam Jeoung, Yubin Ge, Jana Diesner
- Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。
本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
- 参考スコア(独自算出の注目度): 11.218531873222398
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) have been observed to encode and perpetuate
harmful associations present in the training data. We propose a theoretically
grounded framework called StereoMap to gain insights into their perceptions of
how demographic groups have been viewed by society. The framework is grounded
in the Stereotype Content Model (SCM); a well-established theory from
psychology. According to SCM, stereotypes are not all alike. Instead, the
dimensions of Warmth and Competence serve as the factors that delineate the
nature of stereotypes. Based on the SCM theory, StereoMap maps LLMs'
perceptions of social groups (defined by socio-demographic features) using the
dimensions of Warmth and Competence. Furthermore, the framework enables the
investigation of keywords and verbalizations of reasoning of LLMs' judgments to
uncover underlying factors influencing their perceptions. Our results show that
LLMs exhibit a diverse range of perceptions towards these groups, characterized
by mixed evaluations along the dimensions of Warmth and Competence.
Furthermore, analyzing the reasonings of LLMs, our findings indicate that LLMs
demonstrate an awareness of social disparities, often stating statistical data
and research findings to support their reasoning. This study contributes to the
understanding of how LLMs perceive and represent social groups, shedding light
on their potential biases and the perpetuation of harmful associations.
- Abstract(参考訳): 大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。
本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
この枠組みは、心理学から確立された理論であるステレオタイプコンテンツモデル(SCM)に基礎を置いている。
SCMによると、ステレオタイプはすべて似ているわけではない。
代わりに、暖かさと能力の次元は、ステレオタイプの性質を示す要素として機能する。
SCM理論に基づいて、StereoMapは、ウォームスとコンピテンスの次元を用いて、LLMの社会グループに対する認識(社会デコグラフィーの特徴によって定義される)をマッピングする。
さらに,この枠組みにより,LLMの判断を推論するキーワードや動詞を探索し,その知覚に影響を及ぼす要因を明らかにすることができる。
以上の結果から, LLMはこれらのグループに対して, ウォームスとコンピテンスの次元に沿った混合評価を特徴とする多様な知覚を呈することが示された。
さらに, LLMの推論を解析した結果, LLMは社会的格差の認識を示し, 統計的データや研究結果がそれらの推論を支持することが多かった。
本研究は, LLMが社会集団をどのように知覚し, 表現しているかの理解に寄与し, 潜在的なバイアスと有害な関連性の永続性に光を当てる。
関連論文リスト
- Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Large Language Models are Geographically Biased [51.37609528538606]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - The Effect of Group Status on the Variability of Group Representations
in LLM-generated Text [0.34530027457862006]
大型言語モデル(LLM)は、アフリカ系アメリカ人、アジア系アメリカ人、ヒスパニック系アメリカ人を白人よりも同質であると表現している。
性別の影響は人種や民族によって異なり、性別の影響はアフリカ系アメリカ人とヒスパニック系アメリカ人の間では一貫しているが、アジア系アメリカ人と白人アメリカ人には及ばない。
論文 参考訳(メタデータ) (2024-01-16T16:52:00Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and
Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的あるいは否定的な感情の偏見を広く保持するか否かを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Quantifying the Impact of Large Language Models on Collective Opinion
Dynamics [7.0012506428382375]
我々は、大言語モデル(LLM)の意見をエンコードするために、意見ネットワークダイナミクスモデルを作成する。
その結果, LLMのアウトプットは, 集団的意見差に一意かつ肯定的な影響を及ぼすことが明らかとなった。
我々の実験は、反対/中立/ランダムの意見を持つ追加のエージェントを導入することで、バイアスや有害なアウトプットの影響を効果的に軽減できることを示した。
論文 参考訳(メタデータ) (2023-08-07T05:45:17Z) - Influence of External Information on Large Language Models Mirrors
Social Cognitive Patterns [51.622612759892775]
社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。
近年,大規模言語モデル(LLM)の急速な発展を目撃している。
LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
論文 参考訳(メタデータ) (2023-05-08T16:10:18Z) - Theory-Grounded Measurement of U.S. Social Stereotypes in English
Language Models [12.475204687181067]
我々は、言語モデル(LM)におけるステレオタイプ・トレーディングの体系的研究と発見のための枠組みとして、エージェンシー・ビリーフ・コミュニオン・ステレオタイプモデルを適用した。
言語モデルからステレオタイプ関係を測定するための感度テスト(SeT)を導入する。
我々は、米国在住の被験者からグループトレイト判断を収集し、英語のLMステレオタイプと比較した。
論文 参考訳(メタデータ) (2022-06-23T13:22:24Z) - Understanding and Countering Stereotypes: A Computational Approach to
the Stereotype Content Model [4.916009028580767]
ステレオタイプコンテンツモデル(SCM)を用いてテキスト中のステレオタイプを解釈する計算手法を提案する。
SCMは、ステレオタイプは温かさと能力の2つの主要な次元に沿って理解することができると提案している。
反ステレオタイプ的な例によるステレオタイプに対抗することは、偏見的思考を減らす最も効果的な方法の1つであることが知られている。
論文 参考訳(メタデータ) (2021-06-04T16:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。