論文の概要: "A Woman is More Culturally Knowledgeable than A Man?": The Effect of Personas on Cultural Norm Interpretation in LLMs
- arxiv url: http://arxiv.org/abs/2409.11636v1
- Date: Wed, 18 Sep 2024 01:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 19:29:58.472263
- Title: "A Woman is More Culturally Knowledgeable than A Man?": The Effect of Personas on Cultural Norm Interpretation in LLMs
- Title(参考訳): 「女は男より文化的に有能か?」--LLMの文化規範解釈に対するペルソナの影響
- Authors: Mahammed Kamruzzaman, Hieu Nguyen, Nazmul Hassan, Gene Louis Kim,
- Abstract要約: LLMの社会的規範に対する理解が、割り当てられたペルソナによって異なるかどうかを検討する。
規範はその文化的文脈において普遍的である。
LLMの文化的規範解釈は,使用するペルソナによって異なることがわかった。
- 参考スコア(独自算出の注目度): 1.6606527887256324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the deployment of large language models (LLMs) expands, there is an increasing demand for personalized LLMs. One method to personalize and guide the outputs of these models is by assigning a persona -- a role that describes the expected behavior of the LLM (e.g., a man, a woman, an engineer). This study investigates whether an LLM's understanding of social norms varies across assigned personas. Ideally, the perception of a social norm should remain consistent regardless of the persona, since acceptability of a social norm should be determined by the region the norm originates from, rather than by individual characteristics such as gender, body size, or race. A norm is universal within its cultural context. In our research, we tested 36 distinct personas from 12 sociodemographic categories (e.g., age, gender, beauty) across four different LLMs. We find that LLMs' cultural norm interpretation varies based on the persona used and the norm interpretation also varies within a sociodemographic category (e.g., a fat person and a thin person as in physical appearance group) where an LLM with the more socially desirable persona (e.g., a thin person) interprets social norms more accurately than with the less socially desirable persona (e.g., a fat person). We also discuss how different types of social biases may contribute to the results that we observe.
- Abstract(参考訳): 大規模言語モデル(LLM)の展開が進むにつれ、パーソナライズされたLLMへの需要が高まっている。
これらのモデルのアウトプットをパーソナライズし、ガイドする1つの方法は、パーソナ – LLM(例えば、男性、女性、エンジニア)の期待される振る舞いを記述するロール – を割り当てることである。
本研究では, LLMの社会的規範に対する理解が, 割り当てられたペルソナによって異なるかを検討する。
理想的には、社会的規範の認識はペルソナによらず一貫していなければならない。なぜなら、社会的規範の受容性は、性別、体格、人種といった個々の特徴よりも、その規範が発する地域によって決定されるからである。
規範はその文化的文脈において普遍的である。
本研究は,12の社会デマグラフィーカテゴリー(例えば,年齢,性別,美しさ)から,36の個人を4つの異なるLDMで比較した。
LLMの文化的規範解釈は、使用するペルソナに基づいて変化し、その規範解釈は、より社会的に望ましいペルソナ(例えば、太った人や細い人など)が、より社会的に望ましいペルソナ(例えば、太った人)よりも社会的規範を正確に解釈するソシオデモグラフィーカテゴリー(例えば、太った人や細い人など)内でも変化している。
また、異なるタイプの社会的偏見が観察結果にどのように貢献するかについても論じる。
関連論文リスト
- Multilingual Trolley Problems for Language Models [138.0995992619116]
この研究は、「道徳機械実験」という人間の道徳的嗜好に関する大規模横断的な研究から着想を得たものである。
大規模な言語モデル(LLM)は、英語、韓国語、ハンガリー語、中国語などの言語では人間の好みと一致しているが、ヒンディー語やソマリ語(アフリカ)のような言語では一致していないことを示す。
また, LLMが道徳的選択に与える説明を特徴付けるとともに, GPT-3によるGPT-4の決定と実用主義の裏側において, 公平性が最も有力であることを示す。
論文 参考訳(メタデータ) (2024-07-02T14:02:53Z) - Explicit and Implicit Large Language Model Personas Generate Opinions but Fail to Replicate Deeper Perceptions and Biases [14.650234624251716]
大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。
これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。
我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
論文 参考訳(メタデータ) (2024-06-20T16:24:07Z) - NormAd: A Benchmark for Measuring the Cultural Adaptability of Large Language Models [26.64843536942309]
我々は75カ国の社会的・文化的規範を表す2.6kストーリーを含む新しいデータセットであるNormAdを紹介した。
我々の研究は、LLMがあらゆる文脈の粒度にわたる文化的推論に苦慮していることを明らかにした。
NormAdの評価によると、LLMは文化全体にわたるギフトギフトを含むストーリーに適応するのに苦労している。
論文 参考訳(メタデータ) (2024-04-18T18:48:50Z) - Identifying Multiple Personalities in Large Language Models with
External Evaluation [6.657168333238573]
大きな言語モデル(LLM)は、人間の日常的なアプリケーションと迅速に統合されます。
近年の多くの研究は、人間のために作られた自己評価テストを用いて、LLMの個性を定量化している。
しかし、LCMに適用した場合、これらの自己評価テストの適用性と信頼性に疑問を呈する批評家も多い。
論文 参考訳(メタデータ) (2024-02-22T18:57:20Z) - Large Language Models are Geographically Biased [51.37609528538606]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
論文 参考訳(メタデータ) (2023-09-16T07:07:04Z) - Queer People are People First: Deconstructing Sexual Identity
Stereotypes in Large Language Models [3.974379576408554]
大規模言語モデル(LLM)は、主に最小処理のWebテキストに基づいて訓練される。
LLMはLGBTQIA+コミュニティのような、疎外されたグループに対して必然的にステレオタイプを永続させることができる。
論文 参考訳(メタデータ) (2023-06-30T19:39:01Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Social Chemistry 101: Learning to Reason about Social and Moral Norms [73.23298385380636]
我々は、人々の日常的な社会的規範と道徳的判断を研究するための新しい概念的形式主義である社会化学を提示する。
Social-Chem-101は大規模なコーパスで292Kのルールをカタログ化している。
モデルフレームワークであるNeural Norm Transformerは、Social-Chem-101を学習し、一般化し、これまで見つからなかった状況の推論に成功した。
論文 参考訳(メタデータ) (2020-11-01T20:16:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。