論文の概要: TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models

• arxiv url: http://arxiv.org/abs/2309.04027v2
• Date: Fri, 12 Jan 2024 16:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:29:02.541537
• Title: TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models
• Title（参考訳）: TIDE:分類と言語モデルの評価と拡張のためのテキストアイデンティティ検出
• Authors: Emmanuel Klu and Sameer Sethi
• Abstract要約: 機械学習モデルは、不公平で不均衡なデータセットから意図しないバイアスを永続することができる。 分類器と言語モデルにおけるテキストの公平性を改善するためのアプローチと組み合わせたデータセットを提案する。 我々は、IDコンテキストの可用性向上に使用できるIDアノテーションと拡張ツールを開発するために、TIDALを活用している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models can perpetuate unintended biases from unfair and imbalanced datasets. Evaluating and debiasing these datasets and models is especially hard in text datasets where sensitive attributes such as race, gender, and sexual orientation may not be available. When these models are deployed into society, they can lead to unfair outcomes for historically underrepresented groups. In this paper, we present a dataset coupled with an approach to improve text fairness in classifiers and language models. We create a new, more comprehensive identity lexicon, TIDAL, which includes 15,123 identity terms and associated sense context across three demographic categories. We leverage TIDAL to develop an identity annotation and augmentation tool that can be used to improve the availability of identity context and the effectiveness of ML fairness techniques. We evaluate our approaches using human contributors, and additionally run experiments focused on dataset and model debiasing. Results show our assistive annotation technique improves the reliability and velocity of human-in-the-loop processes. Our dataset and methods uncover more disparities during evaluation, and also produce more fair models during remediation. These approaches provide a practical path forward for scaling classifier and generative model fairness in real-world settings.
• Abstract（参考訳）: 機械学習モデルは、不公平で不均衡なデータセットから意図しないバイアスを永続することができる。 人種、性別、性的指向などのセンシティブな属性が利用できないテキストデータセットでは、これらのデータセットとモデルの評価とデバイアスが特に難しい。 これらのモデルが社会に展開されると、歴史的に過小評価されたグループに対して不公平な結果をもたらす可能性がある。 本稿では,分類器と言語モデルにおけるテキストの公平性を向上する手法と組み合わせたデータセットを提案する。 私たちは、3つのカテゴリにわたる15,123のアイデンティティ用語と関連するセンスコンテキストを含む、より包括的なアイデンティティレキシコンであるtidalを作成します。 我々はTIDALを利用して、識別コンテキストの可用性とMLフェアネス手法の有効性を向上させるために使用できる識別アノテーションと拡張ツールを開発する。 人間のコントリビュータを用いてアプローチを評価し、データセットとモデルのデバイアスに着目した実験も行います。 提案手法により,ループ内作業の信頼性と速度が向上することを示す。 我々のデータセットと手法は、評価中により多くの格差を明らかにし、修復中により公平なモデルを生成する。 これらのアプローチは、現実世界の設定で分類器と生成モデルフェアネスをスケーリングするための実用的なパスを提供する。

関連論文リスト

• All Should Be Equal in the Eyes of Language Models: Counterfactually Aware Fair Text Generation [16.016546693767403]
  本研究では,多様な階層のモデル理解を動的に比較し,より公平な文を生成する枠組みを提案する。 CAFIEはより公平なテキストを生成し、公平性と言語モデリング能力の最良のバランスを打ちます。
  論文  参考訳（メタデータ） (2023-11-09T15:39:40Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Deep Learning on a Healthy Data Diet: Finding Important Examples for Fairness [15.210232622716129]
  データ駆動予測ソリューションは、主に商用アプリケーションで使われているが、バイアスやステレオタイプに悩まされる傾向がある。 データ拡張は、トレーニングデータセットに反実例を追加することで、性別バイアスを低減する。 拡張データセットのいくつかの例は、公平性には重要でも有害でもないことを示します。
  論文  参考訳（メタデータ） (2022-11-20T22:42:30Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)
• Fairness by Explicability and Adversarial SHAP Learning [0.0]
  本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。 逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。 合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
  論文  参考訳（メタデータ） (2020-03-11T14:36:34Z)
• Fairness-Aware Learning with Prejudice Free Representations [2.398608007786179]
  本稿では,潜在性識別特徴を効果的に識別し,治療できる新しいアルゴリズムを提案する。 このアプローチは、モデルパフォーマンスを改善するために差別のない機能を集めるのに役立つ。
  論文  参考訳（メタデータ） (2020-02-26T10:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。