論文の概要: Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2205.04238v1
• Date: Mon, 9 May 2022 12:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 19:05:05.920624
• Title: Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection
• Title（参考訳）: 偽造データと意図しないバイアス:性差別とヘイトスピーチ検出の事例
• Authors: Indira Sen, Mattia Samory, Claudia Wagner, and Isabelle Augenstein
• Abstract要約: コア機能を過度に参照すると、意図しないモデルバイアスが発生する可能性がある。 我々は、挑戦的なデータに基づいて性差別とヘイトスピーチ検出のモデルをテストする。 構成駆動で構成に依存しない、さまざまなCADセットを使用することで、意図しないバイアスを減らします。
• 参考スコア（独自算出の注目度）: 35.29235215101502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactually Augmented Data (CAD) aims to improve out-of-domain generalizability, an indicator of model robustness. The improvement is credited with promoting core features of the construct over spurious artifacts that happen to correlate with it. Yet, over-relying on core features may lead to unintended model bias. Especially, construct-driven CAD -- perturbations of core features -- may induce models to ignore the context in which core features are used. Here, we test models for sexism and hate speech detection on challenging data: non-hateful and non-sexist usage of identity and gendered terms. In these hard cases, models trained on CAD, especially construct-driven CAD, show higher false-positive rates than models trained on the original, unperturbed data. Using a diverse set of CAD -- construct-driven and construct-agnostic -- reduces such unintended bias.
• Abstract（参考訳）: Counterfactually Augmented Data (CAD) は、モデル堅牢性の指標である領域外一般化性の向上を目的としている。 この改善は、たまたまそれと関連付けられたスプリアスアーティファクトよりも、コンストラクタのコア機能を促進することで評価されている。 しかし、コア機能への過剰な依存は意図しないモデルバイアスにつながる可能性がある。 特に、構成駆動CAD -- コア機能の摂動 -- は、コア機能を使用するコンテキストを無視してモデルを誘導する可能性がある。 ここでは、性差別とヘイトスピーチ検出のためのモデルをテストする。 これらのハードケースでは、CADで訓練されたモデル、特に構成駆動型CADは、元の未飽和データで訓練されたモデルよりも高い偽陽性率を示す。 構成駆動で構成に依存しない、さまざまなCADセットを使用することで、意図しないバイアスを減らします。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• People Make Better Edits: Measuring the Efficacy of LLM-Generated Counterfactually Augmented Data for Harmful Language Detection [35.89913036572029]
  NLPモデルは、刺激的な特徴に対して堅牢であることは必須である。 過去の作業は、トレーニングデータ拡張を使用して、このような急激な機能に対処しようと試みてきた。 生成NLPモデルを用いて,このタスクが自動化可能かどうかを評価する。
  論文  参考訳（メタデータ） (2023-11-02T14:31:25Z)
• Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization [25.36416774024584]
  Counterfactually-Augmented Data (CAD) は、言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性を秘めている。 本研究では,CADにより引き起こされる近視現象の非効率性について検討した。 本稿では,CADの構造的特性に基づく2つの制約を導入し,CADのより完全な因果的特徴を抽出する言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:41:38Z)
• Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough [19.38778317110205]
  Counterfactually-Augmented Data (CAD) は言語モデルのout-Of-Distribution (OOD) 一般化能力を改善する可能性がある。 本稿ではCADによるMyopia Phenomenonの非効率性について述べる。 我々は、CADに含まれるより完全な因果的特徴を抽出する言語モデルを支援するために、さらに2つの制約を設計する。
  論文  参考訳（メタデータ） (2023-02-18T14:39:03Z)
• AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning [70.70393006697383]
  完全自動かつタスクに依存しないCAD生成フレームワークであるAutoCADについて述べる。 本稿では,完全に自動化されたタスクに依存しないCAD生成フレームワークであるAutoCADを提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:39:53Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• How Does Counterfactually Augmented Data Impact Models for Social Computing Constructs? [35.29235215101502]
  本研究では、感情、性差別、ヘイトスピーチという3つのソーシャル・コンピューティング構造に着目し、社会的NLPモデルに対する反実的強化データ(CAD)の利点について検討する。 CADでトレーニングしたモデルではドメイン内性能が低下するが、ドメイン外性能は向上する。
  論文  参考訳（メタデータ） (2021-09-14T23:46:39Z)
• An Investigation of the (In)effectiveness of Counterfactually Augmented Data [10.316235366821111]
  その結果,CADは頑健な特徴を識別する上で有効であるが,頑健な特徴の学習を阻害する可能性が示唆された。 その結果、現在のCADデータセットにおける摂動多様性の欠如は、OOD一般化におけるその効果を制限していることがわかった。
  論文  参考訳（メタデータ） (2021-07-01T21:46:43Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。