論文の概要: Fairness and Bias in Truth Discovery Algorithms: An Experimental Analysis

• arxiv url: http://arxiv.org/abs/2304.12573v1
• Date: Tue, 25 Apr 2023 04:56:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 21:48:16.760829
• Title: Fairness and Bias in Truth Discovery Algorithms: An Experimental Analysis
• Title（参考訳）: 真理探索アルゴリズムの公正性とバイアス:実験的解析
• Authors: Simone Lazier, Saravanan Thirumuruganathan, Hadis Anahideh
• Abstract要約: 群衆労働者は信頼できないラベルを提供することもある。 真理探索(TD)アルゴリズムを用いて、競合するワーカー応答からコンセンサスラベルを決定する。 我々はTDアルゴリズムのバイアスと公平性を体系的に研究する。
• 参考スコア（独自算出の注目度）: 7.575734557466221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) based approaches are increasingly being used in a number of applications with societal impact. Training ML models often require vast amounts of labeled data, and crowdsourcing is a dominant paradigm for obtaining labels from multiple workers. Crowd workers may sometimes provide unreliable labels, and to address this, truth discovery (TD) algorithms such as majority voting are applied to determine the consensus labels from conflicting worker responses. However, it is important to note that these consensus labels may still be biased based on sensitive attributes such as gender, race, or political affiliation. Even when sensitive attributes are not involved, the labels can be biased due to different perspectives of subjective aspects such as toxicity. In this paper, we conduct a systematic study of the bias and fairness of TD algorithms. Our findings using two existing crowd-labeled datasets, reveal that a non-trivial proportion of workers provide biased results, and using simple approaches for TD is sub-optimal. Our study also demonstrates that popular TD algorithms are not a panacea. Additionally, we quantify the impact of these unfair workers on downstream ML tasks and show that conventional methods for achieving fairness and correcting label biases are ineffective in this setting. We end the paper with a plea for the design of novel bias-aware truth discovery algorithms that can ameliorate these issues.
• Abstract（参考訳）: 機械学習(ML)ベースのアプローチは、社会的影響のある多くのアプリケーションでますます使われている。 mlモデルのトレーニングには大量のラベル付きデータが必要であり、クラウドソーシングは複数のワーカーからラベルを取得するための主要なパラダイムである。 群衆労働者は信頼できないラベルを提供し、これに対処するために、多数決のような真理発見(TD)アルゴリズムを適用して、労働者の反応の矛盾からコンセンサスラベルを決定する。 しかし、これらのコンセンサスラベルは、性別、人種、政治的所属といったセンシティブな属性に基づいてバイアスを受ける可能性があることに注意する必要がある。 センシティブな属性が関与していない場合でも、ラベルは毒性のような主観的な側面の異なる視点でバイアスを受けることができる。 本稿では,TDアルゴリズムのバイアスと公平性を系統的に研究する。 既存の2つの群集ラベル付きデータセットを用いて,非自明な割合の労働者が偏りのある結果をもたらし,TDに対する単純なアプローチが準最適であることを明らかにする。 私たちの研究は、一般的なTDアルゴリズムがパナセアではないことも示しています。 さらに,このような不公平な作業員が下流のmlタスクに与える影響を定量化し,公平性とラベルバイアスの修正が非効率であることを示す。 我々はこれらの問題を改善できる新しいバイアス対応の真理発見アルゴリズムの設計を訴えて、論文を締めくくります。

関連論文リスト

• Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors [28.869581543676947]
  unsupervised outlier detection (OD) は、金融、セキュリティ等に多くの応用がある。 この研究は、データ中心の異なる要因の下で検出モデルを監査することで、ODの不公平な源泉に光を当てることを目的としている。 この研究に基づくODアルゴリズムは、すべて公正な落とし穴を示すが、どの種類のデータバイアスがより影響を受けやすいかは異なる。
  論文  参考訳（メタデータ） (2024-08-24T20:35:32Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Mitigating Label Bias via Decoupled Confident Learning [14.001915875687862]
  アルゴリズムの公平性に関する懸念が高まり、アルゴリズムのバイアスを軽減する手法が急増した。 ラベルのバイアスは、医療、雇用、コンテンツモデレーションを含む重要な領域に広まっています。 本稿では,ラベルバイアスを緩和するためのプルーニング手法,Decoupled Confident Learning (DeCoLe)を提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:28:03Z)
• Diversity matters: Robustness of bias measurements in Wikidata [4.950095974653716]
  7大陸から選択された13の異なる人口層に対して、ウィキデータに表されるデータのバイアスを明らかにする。 我々は、13の人口層から採取された多数の職業について、センシティブな属性、すなわち性別に関する広範な実験を行う。 我々は,現在最先端のKG埋め込みアルゴリズムの選択が,性別に関わらず,偏りのある職業のランク付けに強い影響を与えることを示した。
  論文  参考訳（メタデータ） (2023-02-27T18:38:10Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• More Data Can Lead Us Astray: Active Data Acquisition in the Presence of Label Bias [7.506786114760462]
  提案されたバイアス緩和戦略は、一般的に観察されたラベルに示されるバイアスを見落としている。 まず,教師あり学習システムのコンテキストにおけるラベルバイアスについて概説する。 次に、ラベルバイアスを見渡すと、より多くのデータを集めることでバイアスが増大し、データ収集プロセスで観測されたラベルに依存する公正な制約が問題に対処できないことを実証的に示します。
  論文  参考訳（メタデータ） (2022-07-15T19:30:50Z)
• Don't Throw it Away! The Utility of Unlabeled Data in Fair Decision Making [14.905698014932488]
  そこで本研究では,実用的公正意思決定のための変分オートエンコーダに基づく新しい手法を提案する。 本手法はラベル付きデータとラベルなしデータの両方を活用する非バイアスデータ表現を学習する。 提案手法は,低分散の基底構造に従って最適(フェア)ポリシーに収束する。
  論文  参考訳（メタデータ） (2022-05-10T10:33:11Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。