Fugu-MT 論文翻訳(概要): SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models

論文の概要: SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models

arxiv url: http://arxiv.org/abs/2305.11840v1
Date: Fri, 19 May 2023 17:30:19 GMT
ステータス: 処理完了
システム内更新日: 2023-05-22 13:09:57.473067
Title: SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models
Title（参考訳）: SeeGULL: 生成モデルを活用した広域地形被覆を用いたステレオタイプベンチマーク
Authors: Akshita Jha, Aida Davani, Chandan K. Reddy, Shachi Dave, Vinodkumar Prabhakaran, Sunipa Dev
Abstract要約: SeeGULLは英語の広い範囲のステレオタイプデータセットである。 6大陸にまたがる8つの異なる地政学的領域にまたがる178か国にまたがるアイデンティティグループに関するステレオタイプを含んでいる。また、異なるステレオタイプに対するきめ細かい攻撃性スコアも含み、そのグローバルな格差を示す。
参考スコア（独自算出の注目度）: 15.145145928670827
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Stereotype benchmark datasets are crucial to detect and mitigate social stereotypes about groups of people in NLP models. However, existing datasets are limited in size and coverage, and are largely restricted to stereotypes prevalent in the Western society. This is especially problematic as language technologies gain hold across the globe. To address this gap, we present SeeGULL, a broad-coverage stereotype dataset, built by utilizing generative capabilities of large language models such as PaLM, and GPT-3, and leveraging a globally diverse rater pool to validate the prevalence of those stereotypes in society. SeeGULL is in English, and contains stereotypes about identity groups spanning 178 countries across 8 different geo-political regions across 6 continents, as well as state-level identities within the US and India. We also include fine-grained offensiveness scores for different stereotypes and demonstrate their global disparities. Furthermore, we include comparative annotations about the same groups by annotators living in the region vs. those that are based in North America, and demonstrate that within-region stereotypes about groups differ from those prevalent in North America. CONTENT WARNING: This paper contains stereotype examples that may be offensive.
Abstract（参考訳）: ステレオタイプベンチマークデータセットは、nlpモデルにおける人々の集団に関する社会的ステレオタイプの検出と緩和に不可欠である。しかし、既存のデータセットはサイズや範囲が限られており、西洋社会で広く見られるステレオタイプに限られている。言語技術が世界中で定着するにつれ、これは特に問題となる。このギャップに対処するため、SeeGULLは、PaLMやGPT-3といった大規模言語モデルの生成能力を活用し、グローバルな多様なレーダプールを活用して、社会におけるそれらのステレオタイプの有効性を検証する。 SeeGULLは英語で書かれており、アメリカとインドにおける国家レベルのアイデンティティだけでなく、6大陸の8つの異なる地政学的地域にわたる178か国にわたるアイデンティティグループに関するステレオタイプを含んでいる。また、異なるステレオタイプに対するきめ細かい攻撃性スコアも含み、そのグローバルな格差を示す。さらに,同地域在住のアノテータと北米在住のアノテータによる同一グループに関する比較注釈を含むとともに,北米で普及しているアノテータとの地域内ステレオタイプの違いを実証する。コンテンツ警告: 本論文は攻撃的かもしれないステレオタイプの例を含む。

関連論文リスト

Who is better at math, Jenny or Jingzhen? Uncovering Stereotypes in Large Language Models [9.734705470760511]
我々はGlobalBiasを使って世界中の幅広いステレオタイプを研究しています。与えられた名前に基づいて文字プロファイルを生成し、モデル出力におけるステレオタイプの有効性を評価する。
論文参考訳（メタデータ） (2024-07-09T14:52:52Z)
The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention [61.80236015147771]
我々は多様性の介入とT2Iモデルにおける人口統計学的事実性とのトレードオフを定量化する。 DoFaiRの実験では、多様性指向の指示によって、性別や人種の異なる集団の数が増加することが明らかになった。本研究では,歴史における世代ごとのジェンダーや人種構成について,言語化された事実情報を反映したFact-Augmented Intervention (FAI)を提案する。
論文参考訳（メタデータ） (2024-06-29T09:09:42Z)
SeeGULL Multilingual: a Dataset of Geo-Culturally Situated Stereotypes [18.991295993710224]
SeeGULLは、20の言語にまたがって、23のリージョンにわたる人間のアノテーションを備えた、グローバルにスケールした、ソーシャルステレオタイプの多言語データセットである。
論文参考訳（メタデータ） (2024-03-08T22:09:58Z)
ViSAGe: A Global-Scale Analysis of Visual Stereotypes in Text-to-Image Generation [24.862839173648467]
我々は、T2Iモデルにおける国籍に基づくステレオタイプの評価を可能にするために、ViSAGeデータセットを導入する。また, 他の属性と比較して, ViSAGe のステレオタイプ属性は, 対応するアイデンティティの生成画像中に存在する可能性が示唆された。
論文参考訳（メタデータ） (2024-01-12T00:43:57Z)
Building Socio-culturally Inclusive Stereotype Resources with Community Engagement [9.131536842607069]
インド社会の文脈における評価資源の社会的に意識した拡大、特にステレオタイピングの害について示す。結果として得られた資源は、インドの文脈で知られているステレオタイプの数を増やし、多くのユニークなアイデンティティにわたって1000以上のステレオタイプを拡大する。
論文参考訳（メタデータ） (2023-07-20T01:26:34Z)
Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
論文参考訳（メタデータ） (2022-11-07T18:31:07Z)
Broaden the Vision: Geo-Diverse Visual Commonsense Reasoning [49.04866469947569]
地理的・地理的・地理的な共通点を理解する視覚・言語モデルの能力をテストするために,Geo-Diverse Visual Commonsense Reasoning dataset(GD-VCR)を構築した。その結果,東アジア,南アジア,アフリカを含む非西欧地域での両モデルの性能は,西欧地域に比べて著しく低いことがわかった。
論文参考訳（メタデータ） (2021-09-14T17:52:55Z)
Fairness for Image Generation with Uncertain Sensitive Attributes [97.81354305427871]
この研究は、画像超解像のような生成手順の文脈における公平性の問題に取り組む。伝統的群フェアネスの定義は通常、指定された保護された群に関して定義されるが、本質的な真偽は存在しないことを強調する。人口比率の自然拡大はグループ化に強く依存しており、明白に達成可能であることを示す。
論文参考訳（メタデータ） (2021-06-23T06:17:17Z)
How True is GPT-2? An Empirical Analysis of Intersectional Occupational Biases [50.591267188664666]
下流のアプリケーションは、自然言語モデルに含まれるバイアスを継承するリスクがある。一般的な生成言語モデルであるGPT-2の作業バイアスを分析した。特定の仕事について、GPT-2は米国におけるジェンダーと民族の社会的偏見を反映しており、場合によってはジェンダー・パリティの傾向を反映している。
論文参考訳（メタデータ） (2021-02-08T11:10:27Z)
One Label, One Billion Faces: Usage and Consistency of Racial Categories in Computer Vision [75.82110684355979]
顔画像の分類的人種ラベルを提供するコンピュータビジョンデータセットによって符号化された人種システムについて検討する。各データセットは、名目上等価な人種分類にもかかわらず、かなりユニークな人種体系をコードしている。我々は、人種的カテゴリーがステレオタイプを符号化し、非整合性からステレオタイプへの分類から民族集団を除外する証拠を見出した。
論文参考訳（メタデータ） (2021-02-03T22:50:04Z)
CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
論文参考訳（メタデータ） (2020-09-30T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。