論文の概要: Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts

• arxiv url: http://arxiv.org/abs/2310.10865v2
• Date: Wed, 15 Nov 2023 21:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 22:21:56.514515
• Title: Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts
• Title（参考訳）: 王子は本当の愛のキスを得るのか? フェアリータルテキスト上のジェンダー摂動に対するモデル感度について
• Authors: Christina Chance, Da Yin, Dakuo Wang, Kai-Wei Chang
• Abstract要約: 近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
• 参考スコア（独自算出の注目度）: 87.62403265382734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies show that traditional fairytales are rife with harmful gender biases. To help mitigate these gender biases in fairytales, this work aims to assess learned biases of language models by evaluating their robustness against gender perturbations. Specifically, we focus on Question Answering (QA) tasks in fairytales. Using counterfactual data augmentation to the FairytaleQA dataset, we evaluate model robustness against swapped gender character information, and then mitigate learned biases by introducing counterfactual gender stereotypes during training time. We additionally introduce a novel approach that utilizes the massive vocabulary of language models to support text genres beyond fairytales. Our experimental results suggest that models are sensitive to gender perturbations, with significant performance drops compared to the original testing set. However, when first fine-tuned on a counterfactual training dataset, models are less sensitive to the later introduced anti-gender stereotyped text.
• Abstract（参考訳）: 最近の研究では、伝統的な妖精は有害な性的偏見を持つ。 本研究の目的は, 性差に対する頑健性を評価することによって, 言語モデルの学習バイアスを評価することである。 具体的には、妖精の質問応答(QA)タスクに焦点を当てる。 本研究では,FairytaleQAデータセットに対する非現実的データ拡張を用いて,スワップしたジェンダーキャラクタ情報に対するモデルロバスト性を評価し,トレーニング中に反現実的ジェンダーステレオタイプを導入することで学習バイアスを軽減する。 さらに,おとぎ話以外のテキストジャンルをサポートするために,言語モデルの膨大な語彙を利用する新しい手法を提案する。 実験結果から,モデルが性別の摂動に敏感であることが示唆された。 しかし、反事実訓練データセットで最初に微調整された場合、モデルは後に導入された反ジェンダーステレオタイプテキストに対する感度が低下する。

関連論文リスト

• Are Models Biased on Text without Gender-related Language? [14.931375031931386]
  ステレオタイプフリーシナリオにおけるジェンダーバイアスを調査するための新しいフレームワークUnStereoEval(USE)を紹介する。 USEは事前学習データ統計に基づいて文レベルスコアを定義し、その文が単語と性別の関連が最小限であるかどうかを判定する。 28の試験モデルにおいて、偏見が低いことは、偏見が単にジェンダー関連の単語の存在に由来するものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-01T15:51:15Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Model-Agnostic Gender Debiased Image Captioning [29.640940966944697]
  イメージキャプションモデルは、トレーニングセットにおける有害な社会的バイアスを永続化し、増幅することが知られている。 我々は、合成バイアスされたサンプルから学習し、両方のバイアスを減少させるLIBRAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-07T15:30:49Z)
• A Moral- and Event- Centric Inspection of Gender Bias in Fairy Tales at A Large Scale [50.92540580640479]
  7つの文化から得られた624個の妖精物語を含む妖精物語データセットにおいて,ジェンダーバイアスを計算的に解析した。 その結果,男性キャラクターの数は女性キャラクターの2倍であり,男女表現が不均等であることが判明した。 女性キャラクターは、注意、忠誠、尊厳に関する道徳的な言葉とより関連しているのに対し、男性キャラクターは、公正、権威に関する道徳的な単語とより関連している。
  論文  参考訳（メタデータ） (2022-11-25T19:38:09Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。