論文の概要: Building Socio-culturally Inclusive Stereotype Resources with Community Engagement

• arxiv url: http://arxiv.org/abs/2307.10514v1
• Date: Thu, 20 Jul 2023 01:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:08:00.280207
• Title: Building Socio-culturally Inclusive Stereotype Resources with Community Engagement
• Title（参考訳）: 地域包摂型社会文化的包摂型ステレオタイプ資源の構築
• Authors: Sunipa Dev, Jaya Goyal, Dinesh Tewari, Shachi Dave, Vinodkumar Prabhakaran
• Abstract要約: インド社会の文脈における評価資源の社会的に意識した拡大、特にステレオタイピングの害について示す。 結果として得られた資源は、インドの文脈で知られているステレオタイプの数を増やし、多くのユニークなアイデンティティにわたって1000以上のステレオタイプを拡大する。
• 参考スコア（独自算出の注目度）: 9.131536842607069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With rapid development and deployment of generative language models in global settings, there is an urgent need to also scale our measurements of harm, not just in the number and types of harms covered, but also how well they account for local cultural contexts, including marginalized identities and the social biases experienced by them. Current evaluation paradigms are limited in their abilities to address this, as they are not representative of diverse, locally situated but global, socio-cultural perspectives. It is imperative that our evaluation resources are enhanced and calibrated by including people and experiences from different cultures and societies worldwide, in order to prevent gross underestimations or skews in measurements of harm. In this work, we demonstrate a socio-culturally aware expansion of evaluation resources in the Indian societal context, specifically for the harm of stereotyping. We devise a community engaged effort to build a resource which contains stereotypes for axes of disparity that are uniquely present in India. The resultant resource increases the number of stereotypes known for and in the Indian context by over 1000 stereotypes across many unique identities. We also demonstrate the utility and effectiveness of such expanded resources for evaluations of language models. CONTENT WARNING: This paper contains examples of stereotypes that may be offensive.
• Abstract（参考訳）: グローバル環境における生成言語モデルの迅速な開発と展開は,害の量や種類だけでなく,辺境的なアイデンティティや経験した社会的偏見など,地域文化の文脈をいかにうまく捉えているかという点において,我々の害の測定をスケールする必要がある。 現在の評価パラダイムは、多様で局所的だがグローバルな社会文化的な視点を代表していないため、この問題に対処する能力に限られている。 危険度測定における過度な過小評価やスキューを防止するため、世界各国の文化や社会から人や経験を取り入れることで、評価資源の強化と校正が不可欠である。 本研究は,インド社会における評価資源の社会文化的に認識された拡大,特にステレオタイプによる影響について示すものである。 我々は、インドに特有の格差の軸のステレオタイプを含むリソースを構築するためのコミュニティの取り組みを考案する。 結果として得られる資源は、インド文脈で知られているステレオタイプの数を、多くのユニークなアイデンティティで1000以上のステレオタイプに増加させる。 また,言語モデル評価のための拡張資源の有用性と有効性を示す。 コンテンツ警告: 本論文は攻撃的かもしれないステレオタイプの例を含む。

関連論文リスト

• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• SeeGULL Multilingual: a Dataset of Geo-Culturally Situated Stereotypes [18.991295993710224]
  SeeGULLは、20の言語にまたがって、23のリージョンにわたる人間のアノテーションを備えた、グローバルにスケールした、ソーシャルステレオタイプの多言語データセットである。
  論文  参考訳（メタデータ） (2024-03-08T22:09:58Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)
• Global Voices, Local Biases: Socio-Cultural Prejudices across Languages [22.92083941222383]
  人間の偏見はユビキタスであるが、一様ではない。言語、文化、社会的境界を越えて格差が存在する。 本研究では,Word Embedding Association Test (WEAT) を24言語に拡張し,より広範な研究を可能にする。 より広く普及している社会的バイアスを包含するために、毒性、能力主義などにわたる新しいバイアス次元について検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:07:50Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models [15.145145928670827]
  SeeGULLは英語の広い範囲のステレオタイプデータセットである。 6大陸にまたがる8つの異なる地政学的領域にまたがる178か国にまたがるアイデンティティグループに関するステレオタイプを含んでいる。 また、異なるステレオタイプに対するきめ細かい攻撃性スコアも含み、そのグローバルな格差を示す。
  論文  参考訳（メタデータ） (2023-05-19T17:30:19Z)
• Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
  危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
  論文  参考訳（メタデータ） (2022-11-07T18:31:07Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。