論文の概要: GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations
- arxiv url: http://arxiv.org/abs/2406.11547v1
- Date: Mon, 17 Jun 2024 13:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 14:32:20.257843
- Title: GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations
- Title（参考訳）: GECOBench: 説明におけるバイアスの定量化のためのジェンダー型テキストデータセットとベンチマーク
- Authors: Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe,
- Abstract要約: 性別制御されたテキストデータセットであるGECOを作成し、それ以外は男性と女性に同じ文が現れる。
これにより、ジェンダー分類タスクの「世界説明」が根本から生まれる。
また,一般的なXAI手法をベンチマークする厳密な定量的評価フレームワークであるGECOBenchも提供する。
- 参考スコア（独自算出の注目度）: 1.0000511213628438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large pre-trained language models have become popular for many applications and form an important backbone of many downstream tasks in natural language processing (NLP). Applying 'explainable artificial intelligence' (XAI) techniques to enrich such models' outputs is considered crucial for assuring their quality and shedding light on their inner workings. However, large language models are trained on a plethora of data containing a variety of biases, such as gender biases, affecting model weights and, potentially, behavior. Currently, it is unclear to what extent such biases also impact model explanations in possibly unfavorable ways. We create a gender-controlled text dataset, GECO, in which otherwise identical sentences appear in male and female forms. This gives rise to ground-truth 'world explanations' for gender classification tasks, enabling the objective evaluation of the correctness of XAI methods. We also provide GECOBench, a rigorous quantitative evaluation framework benchmarking popular XAI methods, applying them to pre-trained language models fine-tuned to different degrees. This allows us to investigate how pre-training induces undesirable bias in model explanations and to what extent fine-tuning can mitigate such explanation bias. We show a clear dependency between explanation performance and the number of fine-tuned layers, where XAI methods are observed to particularly benefit from fine-tuning or complete retraining of embedding layers. Remarkably, this relationship holds for models achieving similar classification performance on the same task. With that, we highlight the utility of the proposed gender-controlled dataset and novel benchmarking approach for research and development of novel XAI methods. All code including dataset generation, model training, evaluation and visualization is available at: https://github.com/braindatalab/gecobench
- Abstract（参考訳）: 大規模な事前学習型言語モデルは、多くのアプリケーションで人気となり、自然言語処理(NLP)における多くの下流タスクの重要なバックボーンを形成している。
このようなモデルの出力を豊かにするための「説明可能な人工知能(XAI)」技術の適用は、品質を保証し、内部の作業に光を当てるのに不可欠であると考えられている。
しかし、大きな言語モデルは、性別バイアス、モデルの重み、潜在的な振る舞いなど、さまざまなバイアスを含む大量のデータに基づいて訓練されている。
現時点では、そのようなバイアスがモデル説明にどんな影響を及ぼすかは明らかになっていない。
性別制御されたテキストデータセットであるGECOを作成し、それ以外は男性と女性に同じ文が現れる。
これにより,XAI手法の正しさを客観的に評価できる,ジェンダー分類タスクの「世界説明」が生まれている。
また、GECOBenchは、人気のあるXAI手法をベンチマークする厳密な定量的評価フレームワークであり、異なる程度に微調整された事前学習言語モデルに適用する。
これにより、事前学習がモデル説明における望ましくないバイアスをどうやって引き起こし、微調整がそのような説明バイアスを緩和するかを研究できる。
そこでは,XAI手法が特に,埋め込みレイヤの微調整や完全再トレーニングの恩恵を受けるため,説明性能と微調整レイヤーの数との間に明確な依存性を示す。
注目すべきは、この関係は、同じタスクで同様の分類性能を達成するモデルに対して成り立つことである。
そこで,提案する性別制御データセットと,新しいXAI手法の研究・開発のための新しいベンチマーク手法の有用性を強調した。
データセット生成、モデルトレーニング、評価、可視化を含むすべてのコードは、https://github.com/braindatalab/gecobench.comで利用可能だ。
関連論文リスト
- How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
影響スコア」は、データの重要なサブセットを特定するために使われる。
本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
論文 参考訳（メタデータ） (2023-11-27T20:19:22Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。
我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。
我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
論文 参考訳（メタデータ） (2022-11-19T20:49:07Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Distraction is All You Need for Fairness [0.0]
本稿では,Distractionモジュールと呼ばれる深層学習モデルの学習戦略を提案する。
この方法は、分類結果に影響を与えるバイアスを制御するのに有効であることが理論的に証明できる。
UCIアダルトおよびヘリテージヘルスデータセットを用いて,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-03-15T01:46:55Z) - Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。
我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。
この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
論文 参考訳（メタデータ） (2021-12-17T20:10:00Z) - Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To
Reduce Model Bias [10.639605996067534]
コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。
COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。
本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
論文 参考訳（メタデータ） (2021-10-20T06:00:03Z) - Improving Gender Fairness of Pre-Trained Language Models without
Catastrophic Forgetting [88.83117372793737]
元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。
本稿では,GEnder Equality Prompt(GEEP)を提案する。
論文 参考訳（メタデータ） (2021-10-11T15:52:16Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。