論文の概要: Theory-Grounded Measurement of U.S. Social Stereotypes in English Language Models

• arxiv url: http://arxiv.org/abs/2206.11684v1
• Date: Thu, 23 Jun 2022 13:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 13:44:13.137149
• Title: Theory-Grounded Measurement of U.S. Social Stereotypes in English Language Models
• Title（参考訳）: 英語モデルにおける米国社会ステレオタイプの理論的計測
• Authors: Yang Trista Cao, Anna Sotnikova, Hal Daum\'e III, Rachel Rudinger, Linda Zou
• Abstract要約: 我々は、言語モデル(LM)におけるステレオタイプ・トレーディングの体系的研究と発見のための枠組みとして、エージェンシー・ビリーフ・コミュニオン・ステレオタイプモデルを適用した。 言語モデルからステレオタイプ関係を測定するための感度テスト(SeT)を導入する。 我々は、米国在住の被験者からグループトレイト判断を収集し、英語のLMステレオタイプと比較した。
• 参考スコア（独自算出の注目度）: 12.475204687181067
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: NLP models trained on text have been shown to reproduce human stereotypes, which can magnify harms to marginalized groups when systems are deployed at scale. We adapt the Agency-Belief-Communion (ABC) stereotype model of Koch et al. (2016) from social psychology as a framework for the systematic study and discovery of stereotypic group-trait associations in language models (LMs). We introduce the sensitivity test (SeT) for measuring stereotypical associations from language models. To evaluate SeT and other measures using the ABC model, we collect group-trait judgments from U.S.-based subjects to compare with English LM stereotypes. Finally, we extend this framework to measure LM stereotyping of intersectional identities.
• Abstract（参考訳）: テキストでトレーニングされたNLPモデルは人間のステレオタイプを再現することが示されている。 我々は,言語モデル(LM)におけるステレオタイプグループ・トレーディング・アソシエーションの体系的研究と発見の枠組みとして,コッホら(2016)のABCステレオタイプモデルを社会心理学から適応する。 言語モデルからステレオタイプ関係を測定するための感度テスト(SeT)を導入する。 abcモデルを用いて集合およびその他の尺度を評価するために,米国を対象とする集団特性判断を収集し,英語のlmステレオタイプと比較した。 最後に、この枠組みを拡張し、交叉idのlmステレオタイプを測定する。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Who is better at math, Jenny or Jingzhen? Uncovering Stereotypes in Large Language Models [9.734705470760511]
  我々はGlobalBiasを使って世界中の幅広いステレオタイプを研究しています。 与えられた名前に基づいて文字プロファイルを生成し、モデル出力におけるステレオタイプの有効性を評価する。
  論文  参考訳（メタデータ） (2024-07-09T14:52:52Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large Language Models [11.218531873222398]
  大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。 本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T17:22:30Z)
• Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
  危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
  論文  参考訳（メタデータ） (2022-11-07T18:31:07Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Understanding and Countering Stereotypes: A Computational Approach to the Stereotype Content Model [4.916009028580767]
  ステレオタイプコンテンツモデル(SCM)を用いてテキスト中のステレオタイプを解釈する計算手法を提案する。 SCMは、ステレオタイプは温かさと能力の2つの主要な次元に沿って理解することができると提案している。 反ステレオタイプ的な例によるステレオタイプに対抗することは、偏見的思考を減らす最も効果的な方法の1つであることが知られている。
  論文  参考訳（メタデータ） (2021-06-04T16:53:37Z)
• CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
  Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。 その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
  論文  参考訳（メタデータ） (2020-09-30T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。