論文の概要: D3CODE: Disentangling Disagreements in Data across Cultures on Offensiveness Detection and Evaluation
- arxiv url: http://arxiv.org/abs/2404.10857v1
- Date: Tue, 16 Apr 2024 19:12:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 18:02:19.172065
- Title: D3CODE: Disentangling Disagreements in Data across Cultures on Offensiveness Detection and Evaluation
- Title(参考訳): D3CODE: 攻撃性の検出と評価に関する文化横断データにおける異同の解消
- Authors: Aida Mostafazadeh Davani, Mark Díaz, Dylan Baker, Vinodkumar Prabhakaran,
- Abstract要約: 4k以上のアノテーションをアノテータのプールにアノテートした4.5K以上の文で、攻撃的言語のための並列アノテーションの大規模なクロスカルチャーデータセットを紹介した。
このデータセットには、ケア、平等、比例、権威、忠誠、純粋性の6つの道徳的基礎に沿って収集されたアノテーターの道徳的価値が含まれている。
分析の結果,アノテータの知覚は個々の道徳的価値観によって形成されていることが明らかとなった。
- 参考スコア(独自算出の注目度): 5.9053106775634685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While human annotations play a crucial role in language technologies, annotator subjectivity has long been overlooked in data collection. Recent studies that have critically examined this issue are often situated in the Western context, and solely document differences across age, gender, or racial groups. As a result, NLP research on subjectivity have overlooked the fact that individuals within demographic groups may hold diverse values, which can influence their perceptions beyond their group norms. To effectively incorporate these considerations into NLP pipelines, we need datasets with extensive parallel annotations from various social and cultural groups. In this paper we introduce the \dataset dataset: a large-scale cross-cultural dataset of parallel annotations for offensive language in over 4.5K sentences annotated by a pool of over 4k annotators, balanced across gender and age, from across 21 countries, representing eight geo-cultural regions. The dataset contains annotators' moral values captured along six moral foundations: care, equality, proportionality, authority, loyalty, and purity. Our analyses reveal substantial regional variations in annotators' perceptions that are shaped by individual moral values, offering crucial insights for building pluralistic, culturally sensitive NLP models.
- Abstract(参考訳): 人間のアノテーションは言語技術において重要な役割を担っているが、アノテータの主観性はデータ収集において長い間見過ごされてきた。
この問題を批判的に研究した最近の研究は、しばしば西洋の文脈で行われ、年齢、性別、人種間の差異だけを文書化している。
その結果、NLPによる主観性の研究は、人口統計学的グループ内の個人が様々な価値観を持つ可能性があるという事実を軽視し、集団規範を超えた認識に影響を及ぼす可能性がある。
これらの考察をNLPパイプラインに効果的に組み込むには、様々な社会的・文化的グループからの広範な並列アノテーションを持つデータセットが必要である。
本稿では,21か国にまたがる性別と年齢のバランスの取れた4K以上のアノテータがアノテートした4K以上の文で,攻撃的言語に対する並列アノテーションの大規模横断的データセットである「データセットデータセット」について紹介する。
このデータセットには、ケア、平等、比例、権威、忠誠、純粋性の6つの道徳的基礎に沿って収集されたアノテーターの道徳的価値が含まれている。
分析の結果,アノテータの知覚は個々の道徳的価値観によって形成され,多元的・文化的に敏感なNLPモデルを構築する上で重要な知見が得られた。
関連論文リスト
- The PRISM Alignment Project: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models [67.38144169029617]
PRISMは,75か国から1500人の多様な参加者を対象に,社会デマトグラフィーをマッピングし,嗜好を提示する新しいデータセットである。
PRISMは、(i)ヒトのフィードバックデータにおける地理的および人口統計学的関与、(ii)集団福祉(UKとUS)を理解するための2つの国勢調査表現サンプル、(iii)全ての評価が詳細な参加者プロファイルに関連付けられている個別化されたフィードバックに寄与する。
論文 参考訳(メタデータ) (2024-04-24T17:51:36Z) - RuBia: A Russian Language Bias Detection Dataset [3.8501658629243076]
本稿では,RuBiaと呼ばれるロシア語に特化して設計されたバイアス検出データセットを提案する。
RuBiaデータセットは、性別、国籍、社会経済的地位、多様性の4つの領域に分けられる。
ルビアには、19の国に2000近いユニークな文が散在している。
論文 参考訳(メタデータ) (2024-03-26T10:01:01Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z) - Disentangling Perceptions of Offensiveness: Cultural and Moral
Correlates [4.857640117519813]
我々は、文化的・心理的要因が攻撃性の認知的処理において重要な役割を担っていると論じる。
攻撃性に対する認識の文化的相違が顕著である。
個人の道徳的価値観は、これらのバリエーションを形成する上で重要な役割を担っている。
論文 参考訳(メタデータ) (2023-12-11T22:12:20Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳(メタデータ) (2023-10-23T17:42:01Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z) - Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。
統計的学習者として、AIシステムはデフォルトで平均に適合する。
ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文 参考訳(メタデータ) (2023-09-02T01:24:59Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。
我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。
その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
論文 参考訳(メタデータ) (2023-08-25T14:50:13Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳(メタデータ) (2023-06-28T14:14:44Z) - Probing Pre-Trained Language Models for Cross-Cultural Differences in
Values [42.45033681054207]
我々は、事前学習言語モデルにどの文化にわたってどの価値が埋め込まれているかを調査するためにプローブを導入する。
PTLMは文化全体における価値の差異を捉えているが、確立した価値調査と弱く一致しているだけである。
論文 参考訳(メタデータ) (2022-03-25T15:45:49Z) - The Ghost in the Machine has an American accent: value conflict in GPT-3 [0.0]
言語と文化的価値の共創が大きな言語モデルに与える影響について論じる。
我々は、いくつかの言語や国を表す様々な価値豊富なテキストでGPT-3をテストした。
入力テキストに埋め込まれた値が生成された出力に変異されているのを観察した。
論文 参考訳(メタデータ) (2022-03-15T11:06:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。