論文の概要: Gender Biases and Where to Find Them: Exploring Gender Bias in
Pre-Trained Transformer-based Language Models Using Movement Pruning
- arxiv url: http://arxiv.org/abs/2207.02463v1
- Date: Wed, 6 Jul 2022 06:20:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 00:10:26.928230
- Title: Gender Biases and Where to Find Them: Exploring Gender Bias in
Pre-Trained Transformer-based Language Models Using Movement Pruning
- Title（参考訳）: ジェンダーバイアスと探す場所--ムーブメント・プルーニングを用いた事前学習型トランスフォーマー言語モデルにおけるジェンダーバイアスの探索
- Authors: Przemyslaw Joniak and Akiko Aizawa
- Abstract要約: 本稿では,移動プルーニングによるトランスフォーマーベース言語モデルのバイアス検査のための新しい枠組みを示す。
モデルを微調整しながらデバイアスの対象にすることで、私たちのフレームワークを実装します。
モデルのパフォーマンスが向上すればするほど、バイアスが増します。
- 参考スコア（独自算出の注目度）: 32.62430731115707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language model debiasing has emerged as an important field of study in the
NLP community. Numerous debiasing techniques were proposed, but bias ablation
remains an unaddressed issue. We demonstrate a novel framework for inspecting
bias in pre-trained transformer-based language models via movement pruning.
Given a model and a debiasing objective, our framework finds a subset of the
model containing less bias than the original model. We implement our framework
by pruning the model while fine-tuning it on the debiasing objective. Optimized
are only the pruning scores - parameters coupled with the model's weights that
act as gates. We experiment with pruning attention heads, an important building
block of transformers: we prune square blocks, as well as establish a new way
of pruning the entire heads. Lastly, we demonstrate the usage of our framework
using gender bias, and based on our findings, we propose an improvement to an
existing debiasing method. Additionally, we re-discover a bias-performance
trade-off: the better the model performs, the more bias it contains.
- Abstract（参考訳）: 言語モデルのデバイアスはNLPコミュニティにおいて重要な研究分野として現れている。
多くの脱バイアス技術が提案されたが、バイアスアブレーションは未適応の問題のままである。
我々は,事前学習したトランスフォーマー言語モデルにおけるバイアス検査のための新しい枠組みを移動プルーニングを用いて実証する。
モデルとデバイアスの目標が与えられた場合、我々のフレームワークは、元のモデルよりもバイアスが少ないモデルのサブセットを見つける。
モデルを微調整しながらデバイアスの対象にすることで、私たちのフレームワークを実装します。
最適化はプルーニングスコアのみであり、パラメータはゲートとして機能するモデルの重みと結合する。
我々は、注意喚起ヘッド、トランスの重要なビルディングブロックを実験し、正方形ブロックをプルーすると同時に、頭全体をプルーニングする新しい方法を確立しました。
最後に, ジェンダーバイアスを用いたフレームワークの利用を実証し, 既存のデバイアス手法の改善を提案する。
さらに、バイアスパフォーマンスのトレードオフを再発見する: モデルのパフォーマンスが良くなればなるほど、そのバイアスは高まる。
関連論文リスト
- Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。
射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
論文 参考訳（メタデータ） (2024-03-27T17:49:31Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Language Models Get a Gender Makeover: Mitigating Gender Bias with
Few-Shot Data Interventions [50.67412723291881]
事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。
我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
論文 参考訳（メタデータ） (2023-06-07T16:50:03Z) - Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo
Chamber [17.034228910493056]
本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。
本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。
提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
論文 参考訳（メタデータ） (2023-05-06T13:13:18Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。
我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。
以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
論文 参考訳（メタデータ） (2022-12-05T23:15:43Z) - Does Debiasing Inevitably Degrade the Model Performance [8.20550078248207]
本稿では、言語モデルの性バイアスの3つの候補メカニズムを説明する理論的枠組みを提案する。
また、デバイアスがモデル性能を劣化させない経路も発見する。
論文 参考訳（メタデータ） (2022-11-14T13:46:13Z) - A Generative Approach for Mitigating Structural Biases in Natural
Language Inference [24.44419010439227]
本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。
このアプローチは大量のバイアスに対して非常に堅牢であることを示す。
生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
論文 参考訳（メタデータ） (2021-08-31T17:59:45Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳（メタデータ） (2020-12-02T16:10:54Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳（メタデータ） (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。