論文の概要: Bipol: A Novel Multi-Axes Bias Evaluation Metric with Explainability for NLP

• arxiv url: http://arxiv.org/abs/2304.04029v2
• Date: Sat, 16 Sep 2023 15:47:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:19:47.987570
• Title: Bipol: A Novel Multi-Axes Bias Evaluation Metric with Explainability for NLP
• Title（参考訳）: Bipol: NLPのための説明可能性を備えた新しい多軸バイアス評価指標
• Authors: Lama Alkhaled, Tosin Adewumi and Sana Sabah Sabry
• Abstract要約: テキストデータの社会的バイアスを推定するための説明可能性を持つ新しい指標であるbipolを導入する。 この課題に取り組むためのステップとして、2段階のプロセスを含む新しいメトリクスを作成します。 私たちはバイアス検出のモデルをトレーニングするための大規模なデータセットを作成し、それを公開しています。
• 参考スコア（独自算出の注目度）: 0.276240219662896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce bipol, a new metric with explainability, for estimating social bias in text data. Harmful bias is prevalent in many online sources of data that are used for training machine learning (ML) models. In a step to address this challenge we create a novel metric that involves a two-step process: corpus-level evaluation based on model classification and sentence-level evaluation based on (sensitive) term frequency (TF). After creating new models to detect bias along multiple axes using SotA architectures, we evaluate two popular NLP datasets (COPA and SQUAD). As additional contribution, we created a large dataset (with almost 2 million labelled samples) for training models in bias detection and make it publicly available. We also make public our codes.
• Abstract（参考訳）: テキストデータの社会的バイアスを推定するための説明可能性を持つ新しい指標であるbipolを導入する。 有害なバイアスは、機械学習(ML)モデルのトレーニングに使用される多くのオンラインデータソースで一般的である。 この課題に対処するために、モデル分類に基づくコーパスレベル評価と(感性)項周波数(TF)に基づく文レベル評価という、2段階のプロセスを含む新しいメトリクスを作成する。 SotAアーキテクチャを用いて複数の軸に沿ってバイアスを検出する新しいモデルを作成した後、人気のある2つのNLPデータセット(COPAとSQUAD)を評価する。 さらなる貢献として、バイアス検出のトレーニングモデルのための大規模なデータセット(200万近いラベル付きサンプル)を作成し、公開しました。 コードも公開しています。

関連論文リスト

• Numerical Literals in Link Prediction: A Critical Examination of Models and Datasets [2.5999037208435705]
  数値リテラルを組み込んだリンク予測モデルは、既存のベンチマークデータセットに対してわずかに改善されている。 モデルが数値リテラルを使用するのに実際に優れているのか、あるいはグラフ構造を利用するのに優れているのかは、不明である。 本稿では,数値リテラルを組み込んだLPモデルの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T17:55:33Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Bipol: Multi-axes Evaluation of Bias with Explainability in Benchmark Datasets [1.7417978715317002]
  複数の軸に沿った5つの英語NLPベンチマークデータセットと2つのスウェーデンのバイアスデータセットを調査した。 これらのデータセットにどの程度のバイアスが存在するかを推定し、説明するために、説明可能性を備えた新しい多軸バイアスメトリクスであるbipolを使用します。
  論文  参考訳（メタデータ） (2023-01-28T09:28:19Z)
• Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
  トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。 我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。 我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T20:49:07Z)
• The Word is Mightier than the Label: Learning without Pointillistic Labels using Data Programming [11.536162323162099]
  ほとんどの高度な教師付き機械学習(ML)モデルは、大量のポイントバイポイントラベル付きトレーニング例に依存している。 大量のデータをハンドラベリングすることは、面倒で、高価で、エラーを起こしやすい。
  論文  参考訳（メタデータ） (2021-08-24T19:11:28Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• BENN: Bias Estimation Using Deep Neural Network [37.70583323420925]
  本稿では,未学習の深層ニューラルネットワークを用いた新しいバイアス推定手法であるBENNを提案する。 MLモデルとデータサンプルを与えられたBENNは、モデルの予測に基づいてすべての機能に対するバイアス推定を提供します。 3つのベンチマークデータセットと1つの独自のチャーン予測モデルを用いてBENNを評価した。
  論文  参考訳（メタデータ） (2020-12-23T08:25:35Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。