論文の概要: Bipol: A Novel Multi-Axes Bias Evaluation Metric with Explainability for NLP

• arxiv url: http://arxiv.org/abs/2304.04029v2
• Date: Sat, 16 Sep 2023 15:47:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:19:47.987570
• Title: Bipol: A Novel Multi-Axes Bias Evaluation Metric with Explainability for NLP
• Title（参考訳）: Bipol: NLPのための説明可能性を備えた新しい多軸バイアス評価指標
• Authors: Lama Alkhaled, Tosin Adewumi and Sana Sabah Sabry
• Abstract要約: テキストデータの社会的バイアスを推定するための説明可能性を持つ新しい指標であるbipolを導入する。 この課題に取り組むためのステップとして、2段階のプロセスを含む新しいメトリクスを作成します。 私たちはバイアス検出のモデルをトレーニングするための大規模なデータセットを作成し、それを公開しています。
• 参考スコア（独自算出の注目度）: 0.276240219662896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce bipol, a new metric with explainability, for estimating social bias in text data. Harmful bias is prevalent in many online sources of data that are used for training machine learning (ML) models. In a step to address this challenge we create a novel metric that involves a two-step process: corpus-level evaluation based on model classification and sentence-level evaluation based on (sensitive) term frequency (TF). After creating new models to detect bias along multiple axes using SotA architectures, we evaluate two popular NLP datasets (COPA and SQUAD). As additional contribution, we created a large dataset (with almost 2 million labelled samples) for training models in bias detection and make it publicly available. We also make public our codes.
• Abstract（参考訳）: テキストデータの社会的バイアスを推定するための説明可能性を持つ新しい指標であるbipolを導入する。 有害なバイアスは、機械学習(ML)モデルのトレーニングに使用される多くのオンラインデータソースで一般的である。 この課題に対処するために、モデル分類に基づくコーパスレベル評価と(感性)項周波数(TF)に基づく文レベル評価という、2段階のプロセスを含む新しいメトリクスを作成する。 SotAアーキテクチャを用いて複数の軸に沿ってバイアスを検出する新しいモデルを作成した後、人気のある2つのNLPデータセット(COPAとSQUAD)を評価する。 さらなる貢献として、バイアス検出のトレーニングモデルのための大規模なデータセット(200万近いラベル付きサンプル)を作成し、公開しました。 コードも公開しています。

関連論文リスト

• CELDA: Leveraging Black-box Language Model as Enhanced Classifier without Labels [14.285609493077965]
  クラスタリング強化線形識別分析(Linar Discriminative Analysis)は、非常に弱いスーパービジョン信号を用いてテキスト分類精度を向上させる新しい手法である。 我々のフレームワークは、LMモデルやデータラベルの重みや勾配にアクセスすることなく、正確な決定境界を描画する。
  論文  参考訳（メタデータ） (2023-06-05T08:35:31Z)
• Bipol: Multi-axes Evaluation of Bias with Explainability in Benchmark Datasets [1.2532400738980594]
  複数の軸に沿った5つの英語NLPベンチマークデータセットと2つのスウェーデンのバイアスデータセットを調査した。 これらのデータセットにどの程度のバイアスが存在するかを推定し、説明するために、説明可能性を備えた新しい多軸バイアスメトリクスであるbipolを使用します。
  論文  参考訳（メタデータ） (2023-01-28T09:28:19Z)
• Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
  トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。 我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。 我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T20:49:07Z)
• The Word is Mightier than the Label: Learning without Pointillistic Labels using Data Programming [11.536162323162099]
  ほとんどの高度な教師付き機械学習(ML)モデルは、大量のポイントバイポイントラベル付きトレーニング例に依存している。 大量のデータをハンドラベリングすることは、面倒で、高価で、エラーを起こしやすい。
  論文  参考訳（メタデータ） (2021-08-24T19:11:28Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• BENN: Bias Estimation Using Deep Neural Network [37.70583323420925]
  本稿では,未学習の深層ニューラルネットワークを用いた新しいバイアス推定手法であるBENNを提案する。 MLモデルとデータサンプルを与えられたBENNは、モデルの予測に基づいてすべての機能に対するバイアス推定を提供します。 3つのベンチマークデータセットと1つの独自のチャーン予測モデルを用いてBENNを評価した。
  論文  参考訳（メタデータ） (2020-12-23T08:25:35Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。