論文の概要: Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
- arxiv url: http://arxiv.org/abs/2406.04064v1
- Date: Thu, 6 Jun 2024 13:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 14:49:58.806812
- Title: Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
- Title（参考訳）: LLMに直接質問:「偏見はどんな形になるか?」:大規模言語モデルにおける社会的バイアスの測定
- Authors: Jisu Shin, Hoyun Song, Huije Lee, Soyeong Jeong, Jong C. Park,
- Abstract要約: 社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。
本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
- 参考スコア（独自算出の注目度）: 11.132360309354782
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Social bias is shaped by the accumulation of social perceptions towards targets across various demographic identities. To fully understand such social bias in large language models (LLMs), it is essential to consider the composite of social perceptions from diverse perspectives among identities. Previous studies have either evaluated biases in LLMs by indirectly assessing the presence of sentiments towards demographic identities in the generated text or measuring the degree of alignment with given stereotypes. These methods have limitations in directly quantifying social biases at the level of distinct perspectives among identities. In this paper, we aim to investigate how social perceptions from various viewpoints contribute to the development of social bias in LLMs. To this end, we propose a novel strategy to intuitively quantify these social perceptions and suggest metrics that can evaluate the social biases within LLMs by aggregating diverse social perceptions. The experimental results show the quantitative demonstration of the social attitude in LLMs by examining social perception. The analysis we conducted shows that our proposed metrics capture the multi-dimensional aspects of social bias, enabling a fine-grained and comprehensive investigation of bias in LLMs.
- Abstract（参考訳）: 社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。
大規模言語モデル(LLM)におけるこのような社会的バイアスを十分に理解するためには、アイデンティティ間の多様な視点から社会的知覚の合成を考えることが不可欠である。
過去の研究では、生成されたテキストの集団的アイデンティティに対する感情の存在を間接的に評価したり、与えられたステレオタイプとのアライメントの度合いを計測することで、LSMのバイアスを評価してきた。
これらの方法には、アイデンティティ間の異なる視点のレベルで、社会的バイアスを直接定量化する制限がある。
本稿では,様々な観点からの社会的認知が,LLMにおける社会的バイアスの発達にどのように貢献するかを検討する。
そこで我々は,これらの社会的知覚を直感的に定量化する新しい戦略を提案し,多様な社会的知覚を集約してLLM内の社会的バイアスを評価する指標を提案する。
実験の結果, LLMにおける社会的態度の定量的な実証は, 社会的知覚を調べることによって行われた。
分析の結果,提案手法は社会的偏見の多次元的側面を捉え,LLMにおける偏見のきめ細かい包括的調査を可能にした。
関連論文リスト
- Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。
我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
論文 参考訳（メタデータ） (2024-08-08T08:13:25Z) - Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis [23.329280888159744]
大規模言語モデル(LLM)は、訓練データに偏見を反映し、社会的ステレオタイプや不平等を補強する社会バイアスを持続させる。
本稿では,これらのモデルにプロンプトに対する非バイアス応答を付与する独自のデバイアス処理手法であるSocial Contact Debiasing(SCD)を提案する。
我々の研究は、LLM応答が接触探究の際の社会的バイアスを示すことを示したが、より重要なことは、これらのバイアスは、SCD戦略に従ってLLaMA 2を指導する1つの時代において、最大40%減少させることができることである。
論文 参考訳（メタデータ） (2024-07-02T07:58:46Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition [59.57095498284501]
我々は,textbfContextual textbfSocial textbfRelationships (textbfConSoR) を社会的認知の観点から認識する新しいアプローチを提案する。
画像ごとの社会的関係を考慮した社会認識記述言語プロンプトを構築した。
印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8%向上している。
論文 参考訳（メタデータ） (2024-06-12T16:02:28Z) - StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large
Language Models [11.218531873222398]
大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。
本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-20T17:22:30Z) - Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。
実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
論文 参考訳（メタデータ） (2023-09-16T07:07:04Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Mind vs. Mouth: On Measuring Re-judge Inconsistency of Social Bias in
Large Language Models [22.87965173260982]
近年の研究では、LLM(Pre-trained Large Language Models)は、人間のものと類似した認知的構造を持っていることが示されている。
本稿では,心理学における2段階の認知構造である,明示的・暗黙的な社会的偏見に焦点を当てた。
論文 参考訳（メタデータ） (2023-08-24T05:35:58Z) - Influence of External Information on Large Language Models Mirrors
Social Cognitive Patterns [51.622612759892775]
社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。
近年,大規模言語モデル(LLM)の急速な発展を目撃している。
LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
論文 参考訳（メタデータ） (2023-05-08T16:10:18Z) - The Tail Wagging the Dog: Dataset Construction Biases of Social Bias
Benchmarks [75.58692290694452]
社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。
これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
論文 参考訳（メタデータ） (2022-10-18T17:58:39Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳（メタデータ） (2021-06-24T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。