Fugu-MT 論文翻訳(概要): Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers

論文の概要: Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers

arxiv url: http://arxiv.org/abs/2104.13640v1
Date: Wed, 28 Apr 2021 08:53:54 GMT
ステータス: 処理完了
システム内更新日: 2021-04-29 12:55:35.562443
Title: Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
Title（参考訳）: 検索コンテンツにおける社会的バイアス--BERTランキングのフレームワークと対応緩和-
Authors: Navid Rekabsaz and Simone Kopeinik and Markus Schedl
Abstract要約: ランキングモデルの検索したテキスト内容の公平性を測定するための新しいフレームワークを提供する。本稿では,最先端のbertrankersに適用した逆バイアス緩和手法を提案する。 MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。
参考スコア（独自算出の注目度）: 9.811131801693856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Societal biases resonate in the retrieved contents of information retrieval (IR) systems, resulting in reinforcing existing stereotypes. Approaching this issue requires established measures of fairness regarding the representation of various social groups in retrieved contents, as well as methods to mitigate such biases, particularly in the light of the advances in deep ranking models. In this work, we first provide a novel framework to measure the fairness in the retrieved text contents of ranking models. Introducing a ranker-agnostic measurement, the framework also enables the disentanglement of the effect on fairness of collection from that of rankers. Second, we propose an adversarial bias mitigation approach applied to the state-of-the-art Bert rankers, which jointly learns to predict relevance and remove protected attributes. We conduct experiments on two passage retrieval collections (MS MARCO Passage Re-ranking and TREC Deep Learning 2019 Passage Re-ranking), which we extend by fairness annotations of a selected subset of queries regarding gender attributes. Our results on the MS MARCO benchmark show that, while the fairness of all ranking models is lower than the ones of ranker-agnostic baselines, the fairness in retrieved contents significantly improves when applying the proposed adversarial training. Lastly, we investigate the trade-off between fairness and utility, showing that through applying a combinatorial model selection method, we can maintain the significant improvements in fairness without any significant loss in utility.
Abstract（参考訳）: 社会的バイアスは、情報検索(IR)システムの検索内容に共鳴し、既存のステレオタイプを補強する。この問題に迫るには、検索内容における各種社会集団の表現に関する公平さの確立と、特に深層ランキングモデルの進歩を踏まえて、これらのバイアスを緩和する方法が必要である。本研究ではまず,検索したランキングモデルのテキスト内容の公平性を測定するための新しいフレームワークを提案する。このフレームワークは、ランク付け非依存の測定の導入により、ランク付け者からの収集の公平性に対する影響を解消する。第2に,保護属性の妥当性の予測と除去を共同で学習する,最先端のベルトローダに適用した逆バイアス緩和手法を提案する。我々は,2つのパス検索コレクション(ms marco passage re- rankingとtrec deep learning 2019 passage re-ranking)について実験を行い,性別属性に関する問合せの抽出されたサブセットの公平性アノテーションによって拡張する。 MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。最後に, 公平性と実用性とのトレードオフを調査し, 組合せモデル選択法を適用することで, 実用性に大きな損なうことなく公平性に大きな改善を維持できることを示す。

関連論文リスト

Learn to be Fair without Labels: a Distribution-based Learning Framework for Fair Ranking [1.8577028544235155]
本研究では,未利用の公正度ラベルを対象の公正度分布に置き換えることにより,ラベルを必要としない分布ベースフェアラーニングフレームワーク(DLF)を提案する。提案手法は,フェアネス関連トレードオフの制御性を高めつつ,フェアネス性能を向上する。
論文参考訳（メタデータ） (2024-05-28T03:49:04Z)
A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
論文参考訳（メタデータ） (2024-05-03T16:25:27Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文参考訳（メタデータ） (2023-08-28T03:03:03Z)
Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文参考訳（メタデータ） (2022-05-23T17:38:30Z)
Debiasing Neural Retrieval via In-batch Balancing Regularization [25.941718123899356]
我々は,nPRF上でのT-統計を有効活用し,公平性を向上させるために,識別可能なテキストトナー付きペアワイドランキングフェアネス(nPRF)を開発した。 nPRF を用いた手法は,ベースラインに比べてランク付け性能の低下が最小限に抑えられ,バイアスが大幅に低減される。
論文参考訳（メタデータ） (2022-05-18T22:57:15Z)
Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文参考訳（メタデータ） (2022-03-16T15:00:33Z)
Fair Tree Learning [0.15229257192293202]
様々な最適化基準は、分類性能と公正度を組み合わせている。現在の公正決定木法は、分類タスクと公正度測定の両方において、一定の閾値を最適化するのみである。そこで本研究では,一様人口分布パリティと呼ばれるしきい値非依存の公平度尺度と,SCAFF – Splitting Criterion AUC for Fairnessと題する分割基準を提案する。
論文参考訳（メタデータ） (2021-10-18T13:40:25Z)
Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。