論文の概要: Centering the Margins: Outlier-Based Identification of Harmed
Populations in Toxicity Detection
- arxiv url: http://arxiv.org/abs/2305.14735v1
- Date: Wed, 24 May 2023 05:15:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 19:30:58.979656
- Title: Centering the Margins: Outlier-Based Identification of Harmed
Populations in Toxicity Detection
- Title（参考訳）: マージン中心:毒性検出における有害集団のアウトリアーに基づく同定
- Authors: Vyoma Raman, Eve Fleisig, Dan Klein
- Abstract要約: 人口統計特性が「ノーム」から離れたため、統計的外れ値であるデータポイントとして「マージン」を運用する。
本稿では,グループベース性能格差指数(GPDI)を提案する。
- 参考スコア（独自算出の注目度）: 34.66200889614538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A standard method for measuring the impacts of AI on marginalized communities
is to determine performance discrepancies between specified demographic groups.
These approaches aim to address harms toward vulnerable groups, but they
obscure harm patterns faced by intersectional subgroups or shared across
demographic groups. We instead operationalize "the margins" as data points that
are statistical outliers due to having demographic attributes distant from the
"norm" and measure harms toward these outliers. We propose a Group-Based
Performance Disparity Index (GPDI) that measures the extent to which a
subdivision of a dataset into subgroups identifies those facing increased
harms. We apply our approach to detecting disparities in toxicity detection and
find that text targeting outliers is 28% to 86% more toxic for all types of
toxicity examined. We also discover that model performance is consistently
worse for demographic outliers, with disparities in error between outliers and
non-outliers ranging from 28% to 71% across toxicity types. Our outlier-based
analysis has comparable or higher GPDI than traditional subgroup-based
analyses, suggesting that outlier analysis enhances identification of subgroups
facing greater harms. Finally, we find that minoritized racial and religious
groups are most associated with outliers, which suggests that outlier analysis
is particularly beneficial for identifying harms against those groups.
- Abstract（参考訳）: マージン化コミュニティに対するaiの影響を測定する標準的な方法は、特定の人口集団間のパフォーマンスの差を決定することである。
これらのアプローチは、脆弱なグループに対する害に対処することを目的としているが、交差するサブグループや人口集団間で共有されるパターンが不明瞭である。
その代わりに、人口統計特性が「ノーム」から離れたことから統計上の外れ値となるデータポイントとして「マージン」を運用し、これらの外れ値に対する害を測定する。
本稿では,データセットのサブグループへの分割が被害の増大に直面するものを識別する程度を測定するグループベースパフォーマンス格差指標(gpdi)を提案する。
我々は, 毒性検出における異質性の検出に本手法を適用し, テキストターゲティング異常度が, あらゆる種類の毒性に対して28%から86%以上有毒であることを確認した。
また、モデル性能は人口減少率に対して一貫して悪化しており、外乱率と非外乱率の誤差は毒性タイプで28%から71%である。
外乱解析は従来のサブグループ分析と同等か高いGPDIを持ち、外乱解析はより大きな害に直面したサブグループの同定を促進することを示唆している。
最後に、少数民族の人種的・宗教的な集団は、最もアウトリーチに結びついていることがわかり、アウトリーチ分析は、これらの集団に対する害を特定するのに特に有益であることが示唆された。
関連論文リスト
- Robustness and Confounders in the Demographic Alignment of LLMs with Human Perceptions of Offensiveness [10.194622474615462]
大規模言語モデル(LLM)は人口統計学的バイアスを示すことが知られているが、複数のデータセットにまたがってこれらのバイアスを体系的に評価する研究は少ない。
以上の結果から、人口統計学的特徴、特に人種、影響のアライメントはデータセット間で矛盾し、しばしば他の要因と絡み合っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-13T19:08:23Z) - Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。
このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。
4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-02T14:34:27Z) - Adversarial Robustness of VAEs across Intersectional Subgroups [4.420073761023326]
可変オートエンコーダ (VAEs) は, 決定論的AEよりも逆方向の摂動に強い抵抗を示す。
本研究は,非標的敵攻撃に対するVAEの堅牢性を評価する。
論文 参考訳（メタデータ） (2024-07-04T11:53:51Z) - Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。
既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。
我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文 参考訳（メタデータ） (2023-11-15T16:35:59Z) - Towards Fair Face Verification: An In-depth Analysis of Demographic
Biases [11.191375513738361]
近年,深層学習に基づく人物識別・検証システムは,精度の面で著しく向上している。
しかし、このようなシステムは人種、年齢、性別に関する重大な偏見を呈している。
本稿では,これらの要因の交叉性に着目した詳細な分析を行う。
論文 参考訳（メタデータ） (2023-07-19T14:49:14Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳（メタデータ） (2021-09-17T13:45:46Z) - Cross-geographic Bias Detection in Toxicity Modeling [9.128264779870538]
より広い地理的文脈における語彙バイアスを頑健に検出する弱教師付き手法を提案する。
提案手法は, 誤りの正当群を同定し, 続いて, その地理的文脈において, 攻撃的・無害な言語に対する人間の判断を反映していることを示す。
論文 参考訳（メタデータ） (2021-04-14T17:32:05Z) - Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
現在の顔認識(FR)モデルには、人口統計バイアスが存在する。
さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。
真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。
本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
論文 参考訳（メタデータ） (2021-03-16T15:05:49Z) - Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。
我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
論文 参考訳（メタデータ） (2020-06-13T06:43:37Z) - Enhancing Facial Data Diversity with Style-based Face Aging [59.984134070735934]
特に、顔データセットは、通常、性別、年齢、人種などの属性の観点からバイアスされる。
本稿では, 細粒度の老化パターンをキャプチャするデータ拡張のための, 生成スタイルに基づく新しいアーキテクチャを提案する。
提案手法は, 年齢移動のための最先端アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-06T21:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。