論文の概要: NLPositionality: Characterizing Design Biases of Datasets and Models
- arxiv url: http://arxiv.org/abs/2306.01943v1
- Date: Fri, 2 Jun 2023 23:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 21:12:43.352477
- Title: NLPositionality: Characterizing Design Biases of Datasets and Models
- Title（参考訳）: NLPositionality:データセットとモデルの設計バイアスを特徴付ける
- Authors: Sebastin Santy, Jenny T. Liang, Ronan Le Bras, Katharina Reinecke,
Maarten Sap
- Abstract要約: NLPシステムにおける設計バイアスは、創造者の位置性、すなわちアイデンティティと背景によって形成されたビューと生きた経験に由来することが多い。
設計バイアスの頻度とリスクにもかかわらず、研究者、システム、データセットの位置がしばしば観測されないため、定量化することは困難である。
設計バイアスを識別し,NLPデータセットとモデルの位置性を定量化するためのフレームワークであるNLPositionalityを紹介する。
- 参考スコア（独自算出の注目度）: 37.4853219320374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Design biases in NLP systems, such as performance differences for different
populations, often stem from their creator's positionality, i.e., views and
lived experiences shaped by identity and background. Despite the prevalence and
risks of design biases, they are hard to quantify because researcher, system,
and dataset positionality is often unobserved. We introduce NLPositionality, a
framework for characterizing design biases and quantifying the positionality of
NLP datasets and models. Our framework continuously collects annotations from a
diverse pool of volunteer participants on LabintheWild, and statistically
quantifies alignment with dataset labels and model predictions. We apply
NLPositionality to existing datasets and models for two tasks -- social
acceptability and hate speech detection. To date, we have collected 16,299
annotations in over a year for 600 instances from 1,096 annotators across 87
countries. We find that datasets and models align predominantly with Western,
White, college-educated, and younger populations. Additionally, certain groups,
such as non-binary people and non-native English speakers, are further
marginalized by datasets and models as they rank least in alignment across all
tasks. Finally, we draw from prior literature to discuss how researchers can
examine their own positionality and that of their datasets and models, opening
the door for more inclusive NLP systems.
- Abstract（参考訳）: 異なる集団に対するパフォーマンスの違いのようなNLPシステムにおける設計バイアスは、しばしば作者の立場、すなわちアイデンティティと背景によって形作られた生活経験に由来する。
設計バイアスの頻度とリスクにもかかわらず、研究者、システム、データセットの位置がしばしば観測されないため、定量化することは難しい。
設計バイアスを特徴づけ,NLPデータセットとモデルの位置性を定量化するフレームワークであるNLPositionalityを紹介する。
このフレームワークは,RaintheWild上で様々なボランティア参加者からアノテーションを連続的に収集し,データセットラベルやモデル予測との整合性を統計的に定量化する。
既存のデータセットとモデルにnlpositionalityを適用し,ソーシャルアクセシビリティとヘイトスピーチ検出の2つのタスクに適用した。
これまでのところ、87カ国の1,096人の注釈家から1年で16,299件のアノテーションを集めています。
データセットとモデルは、主に西洋、白人、大学生、若年層と一致している。
さらに、非バイナリの人々や非ネイティブ英語話者のような特定のグループは、すべてのタスクにおいて最小のランク付けを行うため、データセットやモデルによってさらに限界化される。
最後に,先行文献から,研究者が自身の位置性やデータセットやモデルについてどのように検討できるかを考察し,より包括的なnlpシステムへの扉を開く。
関連論文リスト
- Enriching Datasets with Demographics through Large Language Models: What's in a Name? [5.871504332441324]
LLM(Large Language Models)は、特殊なデータに基づいてトレーニングされた振る舞いモデルだけでなく、パフォーマンスも向上する。
香港の認可された金融専門家の実際のデータセットを含む、さまざまなデータセットにこれらのLCMを適用します。
論文 参考訳（メタデータ） (2024-09-17T18:40:49Z) - VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。
我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。
15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2024-06-20T10:56:59Z) - Aligning with Whom? Large Language Models Have Gender and Racial Biases
in Subjective NLP Tasks [15.015148115215315]
我々は4つのポピュラーな大言語モデル(LLM)の実験を行い、集団差と潜在的なバイアスを理解する能力について、丁寧さと不快さの予測について検討する。
どちらのタスクでも、モデル予測は白人と女性の参加者のラベルに近いことが分かりました。
より具体的には、"ブラック"と"アジア"個人の観点から反応するよう促された場合、モデルは、対応するグループからのスコアだけでなく、全体的なスコアを予測する際のパフォーマンスを低下させる。
論文 参考訳（メタデータ） (2023-11-16T10:02:24Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳（メタデータ） (2023-06-28T14:14:44Z) - Zero-shot racially balanced dataset generation using an existing biased
StyleGAN2 [5.463417677777276]
本稿では, 偏りのある生成モデルであるStyleGAN2を用いて, 人口統計学的に多様な合成個体の画像を作成する手法を提案する。
1レースあたり50,000のIDを含むバランスの取れたデータセットで顔認識モデルをトレーニングすることで、パフォーマンスを改善し、実際のデータセットでトレーニングされたモデルに存在した可能性のあるバイアスを最小限にすることができる。
論文 参考訳（メタデータ） (2023-05-12T18:07:10Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Assessing Demographic Bias Transfer from Dataset to Model: A Case Study
in Facial Expression Recognition [1.5340540198612824]
2つのメトリクスはデータセットの表現バイアスとステレオタイプバイアスに焦点をあて、もう1つはトレーニングされたモデルの残差バイアスに焦点を当てている。
本稿では、一般的なAffectnetデータセットに基づくFER問題に適用することで、メトリクスの有用性を示す。
論文 参考訳（メタデータ） (2022-05-20T09:40:42Z) - "I'm sorry to hear that": Finding New Biases in Language Models with a
Holistic Descriptor Dataset [12.000335510088648]
新しい包括的バイアス測定データセットであるHollisticBiasを紹介します。
HolisticBiasは、これらの用語の生きた経験を持つ専門家やコミュニティメンバーを含む参加的なプロセスで組み立てられた。
我々は,HolisticBiasが,言語モデルからトークンの確率において,検出不能なバイアスを測定するのに有効であることを実証した。
論文 参考訳（メタデータ） (2022-05-18T20:37:25Z) - WANLI: Worker and AI Collaboration for Natural Language Inference
Dataset Creation [101.00109827301235]
我々は人間と機械の協調に基づくデータセット作成のための新しいパラダイムを導入する。
我々は、データセット地図を用いて、挑戦的な推論パターンを示すサンプルを自動的に識別し、GPT-3に同様のパターンで新しい例を作成するよう指示する。
結果として得られたデータセットであるWANLIは、108,357の自然言語推論(NLI)の例からなり、ユニークな経験的強度を示す。
論文 参考訳（メタデータ） (2022-01-16T03:13:49Z) - Automatically Identifying Semantic Bias in Crowdsourced Natural Language
Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。
データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文 参考訳（メタデータ） (2021-12-16T22:49:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。