論文の概要: NBIAS: A Natural Language Processing Framework for Bias Identification
in Text
- arxiv url: http://arxiv.org/abs/2308.01681v1
- Date: Thu, 3 Aug 2023 10:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 14:30:40.766746
- Title: NBIAS: A Natural Language Processing Framework for Bias Identification
in Text
- Title(参考訳): NBIAS:テキスト中のバイアス識別のための自然言語処理フレームワーク
- Authors: Shaina Razaa, Muskan Garg, Deepak John Reji, Syed Raza Bashir, Chen
Ding
- Abstract要約: 我々は,データ層,コーパス・コントリテーション,モデル開発層,評価層から構成される包括的フレームワークであるtextscNbias を開発した。
このデータセットは、ソーシャルメディア、ヘルスケア、雇用ポータルなど、さまざまな分野からさまざまなデータを収集することによって構築される。
ベースラインに比べて1%から8%の精度向上を実現しています。
- 参考スコア(独自算出の注目度): 0.6249768559720121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bias in textual data can lead to skewed interpretations and outcomes when the
data is used. These biases could perpetuate stereotypes, discrimination, or
other forms of unfair treatment. An algorithm trained on biased data ends up
making decisions that disproportionately impact a certain group of people.
Therefore, it is crucial to detect and remove these biases to ensure the fair
and ethical use of data. To this end, we develop a comprehensive and robust
framework \textsc{Nbias} that consists of a data layer, corpus contruction,
model development layer and an evaluation layer. The dataset is constructed by
collecting diverse data from various fields, including social media,
healthcare, and job hiring portals. As such, we applied a transformer-based
token classification model that is able to identify bias words/ phrases through
a unique named entity. In the assessment procedure, we incorporate a blend of
quantitative and qualitative evaluations to gauge the effectiveness of our
models. We achieve accuracy improvements ranging from 1% to 8% compared to
baselines. We are also able to generate a robust understanding of the model
functioning, capturing not only numerical data but also the quality and
intricacies of its performance. The proposed approach is applicable to a
variety of biases and contributes to the fair and ethical use of textual data.
- Abstract(参考訳): テキストデータのバイアスは、データが使用されると歪んだ解釈や結果につながる可能性がある。
これらのバイアスは、ステレオタイプ、差別、その他の不公平な扱いを永続する可能性がある。
偏ったデータに基づいて訓練されたアルゴリズムは、あるグループに不公平に影響を及ぼす決定を下す。
したがって、データの公正かつ倫理的利用を確保するためには、これらのバイアスを検出して取り除くことが不可欠である。
そこで我々は,データ層,コーパス・コントラクション,モデル開発層,評価層から構成される包括的で堅牢なフレームワークであるtextsc{Nbias} を開発した。
このデータセットは、ソーシャルメディア、ヘルスケア、雇用ポータルなど、さまざまな分野からさまざまなデータを収集することによって構築される。
そこで,変圧器を用いたトークン分類モデルを適用し,一意な名前を持つエンティティを通じてバイアス語やフレーズを識別する。
評価手法では,定量的および定性的な評価をブレンドして,モデルの有効性を評価する。
ベースラインに比べて1%から8%の精度向上を実現しています。
また,モデル機能に関する堅牢な理解を生成でき,数値データだけでなく,その性能の質や複雑さも把握できる。
提案手法は,様々なバイアスに適用でき,公平かつ倫理的なテキストデータの活用に寄与する。
関連論文リスト
- Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳(メタデータ) (2022-10-24T13:04:07Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To
Reduce Model Bias [10.639605996067534]
コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。
COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。
本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
論文 参考訳(メタデータ) (2021-10-20T06:00:03Z) - Certifying Robustness to Programmable Data Bias in Decision Trees [12.060443368097102]
学習者が生成したモデルは、潜在的なデータセットバイアスに対してポイントワイズで損なわれていることを証明します。
このアプローチでは,さまざまな次元にまたがるバイアスモデルを指定することが可能です。
フェアネス文献でよく用いられるデータセットに対する我々のアプローチを評価する。
論文 参考訳(メタデータ) (2021-10-08T20:15:17Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Regularizing Models via Pointwise Mutual Information for Named Entity
Recognition [17.767466724342064]
ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。
提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。
長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
論文 参考訳(メタデータ) (2021-04-15T05:47:27Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2020-10-23T16:22:05Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。