論文の概要: Centering the Margins: Outlier-Based Identification of Harmed
Populations in Toxicity Detection
- arxiv url: http://arxiv.org/abs/2305.14735v3
- Date: Fri, 1 Dec 2023 19:45:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 23:16:14.177233
- Title: Centering the Margins: Outlier-Based Identification of Harmed
Populations in Toxicity Detection
- Title(参考訳): マージン中心:毒性検出における有害集団のアウトリアーに基づく同定
- Authors: Vyoma Raman, Eve Fleisig, Dan Klein
- Abstract要約: 我々は「ノーム」から離れた人口特性を持つ人々に関するテキストを特定するために、外れ値検出を用いてデータセットの「マージン」を運用する。
モデルパフォーマンスは、人口減少率に対して一貫して悪化しており、平均2乗誤差(MSE)は、毒性タイプに対して最大70.4%悪くなる。
また、テキストの外れ値が68.4%まで上昇するほど、テキストの外れ値も悪化する。
- 参考スコア(独自算出の注目度): 40.70358114333233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The impact of AI models on marginalized communities has traditionally been
measured by identifying performance differences between specified demographic
subgroups. Though this approach aims to center vulnerable groups, it risks
obscuring patterns of harm faced by intersectional subgroups or shared across
multiple groups. To address this, we draw on theories of marginalization from
disability studies and related disciplines, which state that people farther
from the norm face greater adversity, to consider the "margins" in the domain
of toxicity detection. We operationalize the "margins" of a dataset by
employing outlier detection to identify text about people with demographic
attributes distant from the "norm". We find that model performance is
consistently worse for demographic outliers, with mean squared error (MSE)
between outliers and non-outliers up to 70.4% worse across toxicity types. It
is also worse for text outliers, with a MSE up to 68.4% higher for outliers
than non-outliers. We also find text and demographic outliers to be
particularly susceptible to errors in the classification of severe toxicity and
identity attacks. Compared to analysis of disparities using traditional
demographic breakdowns, we find that our outlier analysis frequently surfaces
greater harms faced by a larger, more intersectional group, which suggests that
outlier analysis is particularly beneficial for identifying harms against those
groups.
- Abstract(参考訳): マージン化されたコミュニティに対するaiモデルの影響は、伝統的に、特定の人口集団間のパフォーマンスの差を特定することによって測定されてきた。
このアプローチは脆弱なグループを集中することを目的としているが、交差するサブグループや複数のグループ間で共有される害のパターンを隠蔽するリスクがある。
そこで本研究では,障害研究と関連する分野の限界化の理論を考察し,一般から遠く離れた人々がより逆境に直面していることを述べ,毒性検出領域における「マージン」を考える。
我々は,「ノーム」から離れた人口特性を持つ人々に関するテキストを特定するために,外れ値検出を用いてデータセットの「マージン」を運用する。
モデルパフォーマンスは、人口減少率に対して一貫して悪化しており、平均2乗誤差(MSE)は、毒性タイプに対して最大70.4%悪くなる。
また、テキストの外れ値が68.4%まで上昇するほど、テキストの外れ値も悪化する。
また,重篤な毒性とアイデンティティ攻撃の分類において,テキストや人口統計学的異常が特に誤りの影響を受けやすいことも見いだした。
従来の人口統計による差異の分析と比較すると、我々の外乱分析は、より大きな交叉群が直面するより大きな害をしばしば表面化しており、これらのグループに対する害を特定するのに特に有益であることが示唆される。
関連論文リスト
- ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。
我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。
3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文 参考訳(メタデータ) (2023-11-29T23:03:04Z) - Towards Fair Face Verification: An In-depth Analysis of Demographic
Biases [11.191375513738361]
近年,深層学習に基づく人物識別・検証システムは,精度の面で著しく向上している。
しかし、このようなシステムは人種、年齢、性別に関する重大な偏見を呈している。
本稿では,これらの要因の交叉性に着目した詳細な分析を行う。
論文 参考訳(メタデータ) (2023-07-19T14:49:14Z) - Ex-Ante Assessment of Discrimination in Dataset [20.574371560492494]
データ所有者は、自分たちのデータの使用が過小評価されているコミュニティにどのように害を与えるかという責任を負う。
本稿では, 個人の反応が感性特性によってどの程度異なるかを示すスコアを生成する, 決定トレエのForest of decision trEEsアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-16T19:28:22Z) - Demographic-Reliant Algorithmic Fairness: Characterizing the Risks of
Demographic Data Collection in the Pursuit of Fairness [0.0]
我々は、アルゴリズムの公正性を実現するために、人口統計に関するより多くのデータを集めることを検討する。
これらの技術は、データガバナンスとシステム抑圧に関するより広範な疑問を、いかに無視するかを示す。
論文 参考訳(メタデータ) (2022-04-18T04:50:09Z) - Statistical discrimination in learning agents [64.78141757063142]
統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。
我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
論文 参考訳(メタデータ) (2021-10-21T18:28:57Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳(メタデータ) (2021-09-17T13:45:46Z) - Cross-geographic Bias Detection in Toxicity Modeling [9.128264779870538]
より広い地理的文脈における語彙バイアスを頑健に検出する弱教師付き手法を提案する。
提案手法は, 誤りの正当群を同定し, 続いて, その地理的文脈において, 攻撃的・無害な言語に対する人間の判断を反映していることを示す。
論文 参考訳(メタデータ) (2021-04-14T17:32:05Z) - Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
現在の顔認識(FR)モデルには、人口統計バイアスが存在する。
さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。
真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。
本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-16T15:05:49Z) - Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。
我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
論文 参考訳(メタデータ) (2020-06-13T06:43:37Z) - Enhancing Facial Data Diversity with Style-based Face Aging [59.984134070735934]
特に、顔データセットは、通常、性別、年齢、人種などの属性の観点からバイアスされる。
本稿では, 細粒度の老化パターンをキャプチャするデータ拡張のための, 生成スタイルに基づく新しいアーキテクチャを提案する。
提案手法は, 年齢移動のための最先端アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-06-06T21:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。