論文の概要: SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage
Leveraging Generative Models
- arxiv url: http://arxiv.org/abs/2305.11840v1
- Date: Fri, 19 May 2023 17:30:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 13:09:57.473067
- Title: SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage
Leveraging Generative Models
- Title(参考訳): SeeGULL: 生成モデルを活用した広域地形被覆を用いたステレオタイプベンチマーク
- Authors: Akshita Jha, Aida Davani, Chandan K. Reddy, Shachi Dave, Vinodkumar
Prabhakaran, Sunipa Dev
- Abstract要約: SeeGULLは英語の広い範囲のステレオタイプデータセットである。
6大陸にまたがる8つの異なる地政学的領域にまたがる178か国にまたがるアイデンティティグループに関するステレオタイプを含んでいる。
また、異なるステレオタイプに対するきめ細かい攻撃性スコアも含み、そのグローバルな格差を示す。
- 参考スコア(独自算出の注目度): 15.145145928670827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stereotype benchmark datasets are crucial to detect and mitigate social
stereotypes about groups of people in NLP models. However, existing datasets
are limited in size and coverage, and are largely restricted to stereotypes
prevalent in the Western society. This is especially problematic as language
technologies gain hold across the globe. To address this gap, we present
SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative
capabilities of large language models such as PaLM, and GPT-3, and leveraging a
globally diverse rater pool to validate the prevalence of those stereotypes in
society. SeeGULL is in English, and contains stereotypes about identity groups
spanning 178 countries across 8 different geo-political regions across 6
continents, as well as state-level identities within the US and India. We also
include fine-grained offensiveness scores for different stereotypes and
demonstrate their global disparities. Furthermore, we include comparative
annotations about the same groups by annotators living in the region vs. those
that are based in North America, and demonstrate that within-region stereotypes
about groups differ from those prevalent in North America. CONTENT WARNING:
This paper contains stereotype examples that may be offensive.
- Abstract(参考訳): ステレオタイプベンチマークデータセットは、nlpモデルにおける人々の集団に関する社会的ステレオタイプの検出と緩和に不可欠である。
しかし、既存のデータセットはサイズや範囲が限られており、西洋社会で広く見られるステレオタイプに限られている。
言語技術が世界中で定着するにつれ、これは特に問題となる。
このギャップに対処するため、SeeGULLは、PaLMやGPT-3といった大規模言語モデルの生成能力を活用し、グローバルな多様なレーダプールを活用して、社会におけるそれらのステレオタイプの有効性を検証する。
SeeGULLは英語で書かれており、アメリカとインドにおける国家レベルのアイデンティティだけでなく、6大陸の8つの異なる地政学的地域にわたる178か国にわたるアイデンティティグループに関するステレオタイプを含んでいる。
また、異なるステレオタイプに対するきめ細かい攻撃性スコアも含み、そのグローバルな格差を示す。
さらに,同地域在住のアノテータと北米在住のアノテータによる同一グループに関する比較注釈を含むとともに,北米で普及しているアノテータとの地域内ステレオタイプの違いを実証する。
コンテンツ警告: 本論文は攻撃的かもしれないステレオタイプの例を含む。
関連論文リスト
- SeeGULL Multilingual: a Dataset of Geo-Culturally Situated Stereotypes [18.991295993710224]
SeeGULLは、20の言語にまたがって、23のリージョンにわたる人間のアノテーションを備えた、グローバルにスケールした、ソーシャルステレオタイプの多言語データセットである。
論文 参考訳(メタデータ) (2024-03-08T22:09:58Z) - Quantifying Stereotypes in Language [6.697298321551588]
データセットをアノテートすることで,言語におけるステレオタイプを定量化する。
我々は、プレトレーニング言語モデル(PLM)を用いて、このデータセットを学習し、文のステレオタイプを予測する。
我々は、ヘイトスピーチ、性差別、感情、不利で有利なグループなど、一般的な社会問題に関するステレオタイプについて議論する。
論文 参考訳(メタデータ) (2024-01-28T01:07:21Z) - ViSAGe: A Global-Scale Analysis of Visual Stereotypes in Text-to-Image
Generation [25.797828188371604]
我々は、T2Iモデルにおける国籍に基づくステレオタイプの評価を可能にするために、ViSAGeデータセットを導入する。
また, 他の属性と比較して, ViSAGe のステレオタイプ属性は, 対応するアイデンティティの生成画像中に存在する可能性が示唆された。
論文 参考訳(メタデータ) (2024-01-12T00:43:57Z) - Social Bias Probing: Fairness Benchmarking for Language Models [48.5644008956526]
本稿では,社会的バイアスに対する言語モデル探索のための独自のフレームワークを提案する。
我々は,言語モデルの一般関連を分析するための探索データセットを収集し,社会的カテゴリ,アイデンティティ,ステレオタイプなどの軸に沿って収集する。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - Building Socio-culturally Inclusive Stereotype Resources with Community
Engagement [9.131536842607069]
インド社会の文脈における評価資源の社会的に意識した拡大、特にステレオタイピングの害について示す。
結果として得られた資源は、インドの文脈で知られているステレオタイプの数を増やし、多くのユニークなアイデンティティにわたって1000以上のステレオタイプを拡大する。
論文 参考訳(メタデータ) (2023-07-20T01:26:34Z) - Easily Accessible Text-to-Image Generation Amplifies Demographic
Stereotypes at Large Scale [61.555788332182395]
危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。
さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
論文 参考訳(メタデータ) (2022-11-07T18:31:07Z) - Broaden the Vision: Geo-Diverse Visual Commonsense Reasoning [49.04866469947569]
地理的・地理的・地理的な共通点を理解する視覚・言語モデルの能力をテストするために,Geo-Diverse Visual Commonsense Reasoning dataset(GD-VCR)を構築した。
その結果,東アジア,南アジア,アフリカを含む非西欧地域での両モデルの性能は,西欧地域に比べて著しく低いことがわかった。
論文 参考訳(メタデータ) (2021-09-14T17:52:55Z) - Fairness for Image Generation with Uncertain Sensitive Attributes [97.81354305427871]
この研究は、画像超解像のような生成手順の文脈における公平性の問題に取り組む。
伝統的群フェアネスの定義は通常、指定された保護された群に関して定義されるが、本質的な真偽は存在しないことを強調する。
人口比率の自然拡大はグループ化に強く依存しており、明白に達成可能であることを示す。
論文 参考訳(メタデータ) (2021-06-23T06:17:17Z) - How True is GPT-2? An Empirical Analysis of Intersectional Occupational
Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。
一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。
特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文 参考訳(メタデータ) (2021-02-08T11:10:27Z) - One Label, One Billion Faces: Usage and Consistency of Racial Categories
in Computer Vision [75.82110684355979]
顔画像の分類的人種ラベルを提供するコンピュータビジョンデータセットによって符号化された人種システムについて検討する。
各データセットは、名目上等価な人種分類にもかかわらず、かなりユニークな人種体系をコードしている。
我々は、人種的カテゴリーがステレオタイプを符号化し、非整合性からステレオタイプへの分類から民族集団を除外する証拠を見出した。
論文 参考訳(メタデータ) (2021-02-03T22:50:04Z) - CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked
Language Models [30.582132471411263]
Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。
CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。
その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
論文 参考訳(メタデータ) (2020-09-30T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。