論文の概要: Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts

• arxiv url: http://arxiv.org/abs/2310.10865v3
• Date: Tue, 01 Apr 2025 18:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:16:44.545649
• Title: Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts
• Title（参考訳）: 王子は真実の愛のキスを受けるのか? 妖精のテキスト上でのジェンダー摂動に対するモデル感度について
• Authors: Christina Chance, Da Yin, Dakuo Wang, Kai-Wei Chang,
• Abstract要約: 本稿では, モデルが非現実的データ拡張を通じて, ジェンダーステレオタイプ摂動にどう反応するかを検討する。 実験結果から, 性別の摂動に直面すると, モデルの性能低下がわずかであることがわかった。 反現実的なトレーニングデータに基づいて微調整を行うと、モデルは反ステレオタイプな物語に対してより堅牢になる。
• 参考スコア（独自算出の注目度）: 80.21033860436081
• License:
• Abstract: In this paper, we study whether language models are affected by learned gender stereotypes during the comprehension of stories. Specifically, we investigate how models respond to gender stereotype perturbations through counterfactual data augmentation. Focusing on Question Answering (QA) tasks in fairytales, we modify the FairytaleQA dataset by swapping gendered character information and introducing counterfactual gender stereotypes during training. This allows us to assess model robustness and examine whether learned biases influence story comprehension. Our results show that models exhibit slight performance drops when faced with gender perturbations in the test set, indicating sensitivity to learned stereotypes. However, when fine-tuned on counterfactual training data, models become more robust to anti-stereotypical narratives. Additionally, we conduct a case study demonstrating how incorporating counterfactual anti-stereotype examples can improve inclusivity in downstream applications.
• Abstract（参考訳）: 本稿では,物語の理解において,学習したジェンダーのステレオタイプによって言語モデルが影響を受けるかを検討する。 具体的には, モデルが反ファクトデータ拡張を通じて, ジェンダーステレオタイプ摂動にどう反応するかを検討する。 フェアリーティールにおける質問応答(QA)タスクに着目し,ジェンダー付きキャラクタ情報を交換し,トレーニング中に対実的ジェンダーステレオタイプを導入することで,フェアリーティールQAデータセットを修正した。 これにより、モデルの堅牢性を評価し、学習されたバイアスがストーリー理解に影響を及ぼすかどうかを調べることができる。 実験結果から, 学習したステレオタイプに対する感受性を示すため, 性別の摂動に直面すると, 若干の性能低下がみられた。 しかし、反現実的なトレーニングデータに基づいて微調整を行うと、モデルは反ステレオタイプな物語に対してより堅牢になる。 さらに, 逆実例を取り入れたケーススタディにより, 下流アプリケーションにおける傾きを改善できることを示す。

関連論文リスト

• Gender Bias in Text-to-Video Generation Models: A case study of Sora [63.064204206220936]
  本研究では,OpenAIのテキスト・ビデオ生成モデルであるSoraにおけるジェンダーバイアスの存在について検討した。 性別ニュートラルとステレオタイププロンプトの多種多様なセットから生成されたビデオを分析し、バイアスの有意な証拠を明らかにした。
  論文  参考訳（メタデータ） (2024-12-30T18:08:13Z)
• Are Models Biased on Text without Gender-related Language? [14.931375031931386]
  ステレオタイプフリーシナリオにおけるジェンダーバイアスを調査するための新しいフレームワークUnStereoEval(USE)を紹介する。 USEは事前学習データ統計に基づいて文レベルスコアを定義し、その文が単語と性別の関連が最小限であるかどうかを判定する。 28の試験モデルにおいて、偏見が低いことは、偏見が単にジェンダー関連の単語の存在に由来するものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-01T15:51:15Z)
• DiFair: A Benchmark for Disentangled Assessment of Gender Knowledge and Bias [13.928591341824248]
  事前訓練された言語モデルでよく見られる性別バイアスを軽減するために、デバイアス技術が提案されている。 これらはしばしば、予測においてモデルが性中立である範囲をチェックするデータセットで評価される。 この評価プロトコルは、バイアス緩和が有意義なジェンダー知識に悪影響を及ぼす可能性を見落としている。
  論文  参考訳（メタデータ） (2023-10-22T15:27:16Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Model-Agnostic Gender Debiased Image Captioning [29.640940966944697]
  イメージキャプションモデルは、トレーニングセットにおける有害な社会的バイアスを永続化し、増幅することが知られている。 我々は、合成バイアスされたサンプルから学習し、両方のバイアスを減少させるLIBRAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-07T15:30:49Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
  本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。 性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
  論文  参考訳（メタデータ） (2021-01-24T10:57:59Z)
• Mitigating Gender Bias in Captioning Systems [56.25457065032423]
  ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。 本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
  論文  参考訳（メタデータ） (2020-06-15T12:16:19Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。