論文の概要: StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.13673v2
- Date: Tue, 31 Oct 2023 16:41:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 22:13:58.071644
- Title: StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large
Language Models
- Title（参考訳）: StereoMap:大規模言語モデルにおける人間のようなステレオタイプ認識の定量化
- Authors: Sullam Jeoung, Yubin Ge, Jana Diesner
- Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。
本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.218531873222398
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) have been observed to encode and perpetuate
harmful associations present in the training data. We propose a theoretically
grounded framework called StereoMap to gain insights into their perceptions of
how demographic groups have been viewed by society. The framework is grounded
in the Stereotype Content Model (SCM); a well-established theory from
psychology. According to SCM, stereotypes are not all alike. Instead, the
dimensions of Warmth and Competence serve as the factors that delineate the
nature of stereotypes. Based on the SCM theory, StereoMap maps LLMs'
perceptions of social groups (defined by socio-demographic features) using the
dimensions of Warmth and Competence. Furthermore, the framework enables the
investigation of keywords and verbalizations of reasoning of LLMs' judgments to
uncover underlying factors influencing their perceptions. Our results show that
LLMs exhibit a diverse range of perceptions towards these groups, characterized
by mixed evaluations along the dimensions of Warmth and Competence.
Furthermore, analyzing the reasonings of LLMs, our findings indicate that LLMs
demonstrate an awareness of social disparities, often stating statistical data
and research findings to support their reasoning. This study contributes to the
understanding of how LLMs perceive and represent social groups, shedding light
on their potential biases and the perpetuation of harmful associations.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。
本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
この枠組みは、心理学から確立された理論であるステレオタイプコンテンツモデル(SCM)に基礎を置いている。
SCMによると、ステレオタイプはすべて似ているわけではない。
代わりに、暖かさと能力の次元は、ステレオタイプの性質を示す要素として機能する。
SCM理論に基づいて、StereoMapは、ウォームスとコンピテンスの次元を用いて、LLMの社会グループに対する認識(社会デコグラフィーの特徴によって定義される)をマッピングする。
さらに,この枠組みにより,LLMの判断を推論するキーワードや動詞を探索し,その知覚に影響を及ぼす要因を明らかにすることができる。
以上の結果から, LLMはこれらのグループに対して, ウォームスとコンピテンスの次元に沿った混合評価を特徴とする多様な知覚を呈することが示された。
さらに, LLMの推論を解析した結果, LLMは社会的格差の認識を示し, 統計的データや研究結果がそれらの推論を支持することが多かった。
本研究は, LLMが社会集団をどのように知覚し, 表現しているかの理解に寄与し, 潜在的なバイアスと有害な関連性の永続性に光を当てる。
関連論文リスト
- Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。
追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文 参考訳（メタデータ） (2024-10-03T16:43:17Z) - Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。
我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
論文 参考訳（メタデータ） (2024-08-08T08:13:25Z) - A Taxonomy of Stereotype Content in Large Language Models [4.4212441764241]
本研究では,現代大言語モデル(LLM)におけるステレオタイプ内容の分類について紹介する。
LLMステレオタイプアソシエーションの90%を占める14のステレオタイプ次元(モラル、能力、健康、信条、感情など)を同定した。
以上の結果から,LLMには高次元のヒトステレオタイプが反映されていることが示唆された。
論文 参考訳（メタデータ） (2024-07-31T21:14:41Z) - How Are LLMs Mitigating Stereotyping Harms? Learning from Search Engine Studies [0.0]
商業モデル開発は、社会的影響評価を犠牲にして、法的負債に関する「安全」の訓練に重点を置いている。
これは、数年前に検索エンジンのオートコンプリートを観測できる同様の傾向を模倣している。
LLMにおけるステレオタイピングを評価するために,オートコンプリート方式の新たな評価課題を提案する。
論文 参考訳（メタデータ） (2024-07-16T14:04:35Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。
本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
論文 参考訳（メタデータ） (2024-06-06T13:32:09Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳（メタデータ） (2023-11-07T15:40:43Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳（メタデータ） (2023-10-30T15:57:32Z) - Influence of External Information on Large Language Models Mirrors
Social Cognitive Patterns [51.622612759892775]
社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。
近年,大規模言語モデル(LLM)の急速な発展を目撃している。
LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
論文 参考訳（メタデータ） (2023-05-08T16:10:18Z) - Theory-Grounded Measurement of U.S. Social Stereotypes in English
Language Models [12.475204687181067]
我々は、言語モデル(LM)におけるステレオタイプ・トレーディングの体系的研究と発見のための枠組みとして、エージェンシー・ビリーフ・コミュニオン・ステレオタイプモデルを適用した。
言語モデルからステレオタイプ関係を測定するための感度テスト(SeT)を導入する。
我々は、米国在住の被験者からグループトレイト判断を収集し、英語のLMステレオタイプと比較した。
論文 参考訳（メタデータ） (2022-06-23T13:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。