論文の概要: D3CODE: Disentangling Disagreements in Data across Cultures on Offensiveness Detection and Evaluation

• arxiv url: http://arxiv.org/abs/2404.10857v1
• Date: Tue, 16 Apr 2024 19:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 18:02:19.172065
• Title: D3CODE: Disentangling Disagreements in Data across Cultures on Offensiveness Detection and Evaluation
• Title（参考訳）: D3CODE: 攻撃性の検出と評価に関する文化横断データにおける異同の解消
• Authors: Aida Mostafazadeh Davani, Mark Díaz, Dylan Baker, Vinodkumar Prabhakaran,
• Abstract要約: 4k以上のアノテーションをアノテータのプールにアノテートした4.5K以上の文で、攻撃的言語のための並列アノテーションの大規模なクロスカルチャーデータセットを紹介した。 このデータセットには、ケア、平等、比例、権威、忠誠、純粋性の6つの道徳的基礎に沿って収集されたアノテーターの道徳的価値が含まれている。 分析の結果,アノテータの知覚は個々の道徳的価値観によって形成されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 5.9053106775634685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While human annotations play a crucial role in language technologies, annotator subjectivity has long been overlooked in data collection. Recent studies that have critically examined this issue are often situated in the Western context, and solely document differences across age, gender, or racial groups. As a result, NLP research on subjectivity have overlooked the fact that individuals within demographic groups may hold diverse values, which can influence their perceptions beyond their group norms. To effectively incorporate these considerations into NLP pipelines, we need datasets with extensive parallel annotations from various social and cultural groups. In this paper we introduce the \dataset dataset: a large-scale cross-cultural dataset of parallel annotations for offensive language in over 4.5K sentences annotated by a pool of over 4k annotators, balanced across gender and age, from across 21 countries, representing eight geo-cultural regions. The dataset contains annotators' moral values captured along six moral foundations: care, equality, proportionality, authority, loyalty, and purity. Our analyses reveal substantial regional variations in annotators' perceptions that are shaped by individual moral values, offering crucial insights for building pluralistic, culturally sensitive NLP models.
• Abstract（参考訳）: 人間のアノテーションは言語技術において重要な役割を担っているが、アノテータの主観性はデータ収集において長い間見過ごされてきた。 この問題を批判的に研究した最近の研究は、しばしば西洋の文脈で行われ、年齢、性別、人種間の差異だけを文書化している。 その結果、NLPによる主観性の研究は、人口統計学的グループ内の個人が様々な価値観を持つ可能性があるという事実を軽視し、集団規範を超えた認識に影響を及ぼす可能性がある。 これらの考察をNLPパイプラインに効果的に組み込むには、様々な社会的・文化的グループからの広範な並列アノテーションを持つデータセットが必要である。 本稿では,21か国にまたがる性別と年齢のバランスの取れた4K以上のアノテータがアノテートした4K以上の文で,攻撃的言語に対する並列アノテーションの大規模横断的データセットである「データセットデータセット」について紹介する。 このデータセットには、ケア、平等、比例、権威、忠誠、純粋性の6つの道徳的基礎に沿って収集されたアノテーターの道徳的価値が含まれている。 分析の結果,アノテータの知覚は個々の道徳的価値観によって形成され,多元的・文化的に敏感なNLPモデルを構築する上で重要な知見が得られた。

関連論文リスト

• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• No Filter: Cultural and Socioeconomic Diversity in Contrastive Vision-Language Models [38.932610459192105]
  コントラッシブ・ビジョン言語モデル(VLM)における文化的・社会経済的多様性の研究 我々の研究は、より包括的なマルチモーダルシステムを構築するために、多様なデータを使うことの価値を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-05-22T16:04:22Z)
• The PRISM Alignment Project: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models [67.38144169029617]
  PRISMは,75か国から1500人の多様な参加者を対象に,社会デマトグラフィーをマッピングし,嗜好を提示する新しいデータセットである。 PRISMは、(i)ヒトのフィードバックデータにおける地理的および人口統計学的関与、(ii)集団福祉(UKとUS)を理解するための2つの国勢調査表現サンプル、(iii)全ての評価が詳細な参加者プロファイルに関連付けられている個別化されたフィードバックに寄与する。
  論文  参考訳（メタデータ） (2024-04-24T17:51:36Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)
• Disentangling Perceptions of Offensiveness: Cultural and Moral Correlates [4.857640117519813]
  我々は、文化的・心理的要因が攻撃性の認知的処理において重要な役割を担っていると論じる。 攻撃性に対する認識の文化的相違が顕著である。 個人の道徳的価値観は、これらのバリエーションを形成する上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-12-11T22:12:20Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• Probing Pre-Trained Language Models for Cross-Cultural Differences in Values [42.45033681054207]
  我々は、事前学習言語モデルにどの文化にわたってどの価値が埋め込まれているかを調査するためにプローブを導入する。 PTLMは文化全体における価値の差異を捉えているが、確立した価値調査と弱く一致しているだけである。
  論文  参考訳（メタデータ） (2022-03-25T15:45:49Z)
• The Ghost in the Machine has an American accent: value conflict in GPT-3 [0.0]
  言語と文化的価値の共創が大きな言語モデルに与える影響について論じる。 我々は、いくつかの言語や国を表す様々な価値豊富なテキストでGPT-3をテストした。 入力テキストに埋め込まれた値が生成された出力に変異されているのを観察した。
  論文  参考訳（メタデータ） (2022-03-15T11:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。