論文の概要: Model-based Counterfactual Generator for Gender Bias Mitigation

• arxiv url: http://arxiv.org/abs/2311.03186v1
• Date: Mon, 6 Nov 2023 15:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 14:01:44.164302
• Title: Model-based Counterfactual Generator for Gender Bias Mitigation
• Title（参考訳）: ジェンダーバイアス軽減のためのモデルベース対物発電機
• Authors: Ewoenam Kwaku Tokpo, Toon Calders
• Abstract要約: 対実データ拡張は、自然言語モデルにおけるジェンダーバイアスを軽減するために好まれる手法の1つである。 辞書に基づく対実データ拡張手法のいくつかの制限を強調した。 本稿では,ジェンダーバイアスを軽減するために,反事実を生成するためのモデルベースソリューションを提案する。
• 参考スコア（独自算出の注目度）: 8.75682288556859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Counterfactual Data Augmentation (CDA) has been one of the preferred techniques for mitigating gender bias in natural language models. CDA techniques have mostly employed word substitution based on dictionaries. Although such dictionary-based CDA techniques have been shown to significantly improve the mitigation of gender bias, in this paper, we highlight some limitations of such dictionary-based counterfactual data augmentation techniques, such as susceptibility to ungrammatical compositions, and lack of generalization outside the set of predefined dictionary words. Model-based solutions can alleviate these problems, yet the lack of qualitative parallel training data hinders development in this direction. Therefore, we propose a combination of data processing techniques and a bi-objective training regime to develop a model-based solution for generating counterfactuals to mitigate gender bias. We implemented our proposed solution and performed an empirical evaluation which shows how our model alleviates the shortcomings of dictionary-based solutions.
• Abstract（参考訳）: counterfactual data augmentation (cda) は自然言語モデルにおいてジェンダーバイアスを緩和するために好まれる技術の一つである。 CDA技術は主に辞書に基づく単語置換を採用している。 このような辞書ベースのcda技術は、性別バイアスの軽減を著しく改善することが示されているが、本論文では、非文法的構成への感受性や、予め定義された辞書語以外の一般化の欠如といった、辞書ベースの偽データ拡張技術の制限を強調する。 モデルベースのソリューションはこれらの問題を緩和することができるが、定性的並列トレーニングデータの欠如は、この方向の開発を妨げる。 そこで,本研究では,データ処理技術と双方向学習システムを組み合わせることで,性バイアスを緩和するモデルベースソリューションを提案する。 提案手法を実装し,このモデルが辞書ベースのソリューションの欠点をいかに軽減するかを実証的に評価した。

関連論文リスト

• Gender Bias Mitigation for Bangla Classification Tasks [2.6285986998314783]
  バングラ語事前学習言語モデルにおける性別バイアスについて検討する。 名前と性別固有の用語を変更することで、これらのデータセットが性別バイアスを検出し緩和するのに適していることを確認した。
  論文  参考訳（メタデータ） (2024-11-16T00:04:45Z)
• FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP [7.41244589428771]
  本稿では,FairFlowを提案する。FairFlowは,逆ファクトテキスト生成モデルの学習のための並列データの自動生成手法である。 FairFlowは優れた性能を維持しつつ辞書ベースの単語置換手法の限界を大幅に克服することを示す。
  論文  参考訳（メタデータ） (2024-07-23T12:29:37Z)
• GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations [1.0000511213628438]
  性別制御されたテキストデータセットであるGECOを作成し、それ以外は男性と女性に同じ文が現れる。 これにより、ジェンダー分類タスクの「世界説明」が根本から生まれる。 また,一般的なXAI手法をベンチマークする厳密な定量的評価フレームワークであるGECOBenchも提供する。
  論文  参考訳（メタデータ） (2024-06-17T13:44:37Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Enhancing Text Generation with Cooperative Training [23.971227375706327]
  ほとんどの一般的な方法は、別々に生成的および差別的なモデルを訓練し、互いに変化に適応できなかった。 本稿では,識別器とジェネレータをクローズドループで協調的に学習するテキスト分野におけるテキスト自己一貫性学習フレームワークを提案する。 我々のフレームワークは、モード崩壊や非収束といったトレーニングの不安定さを軽減することができる。
  論文  参考訳（メタデータ） (2023-03-16T04:21:19Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving [3.114945725130788]
  本稿では、因果推論の枠組みを利用して、ジェンダーバイアスを効果的に除去する手法を提案する。 総括実験により,提案手法は男女の偏りを解消する作業において,最先端の成果を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-09T19:57:22Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。