論文の概要: Measuring Model Biases in the Absence of Ground Truth

• arxiv url: http://arxiv.org/abs/2103.03417v1
• Date: Fri, 5 Mar 2021 01:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 04:43:54.276283
• Title: Measuring Model Biases in the Absence of Ground Truth
• Title（参考訳）: 地中真理存在下におけるモデルバイアスの測定
• Authors: Osman Aka, Ken Burke, Alex B\"auerle, Christina Greer, Margaret Mitchell
• Abstract要約: 根拠となる真理ラベルに依存しない公平さと偏見の測定に新たなフレーミングを導入する。 代わりに、ある画像のモデル予測を、自然言語処理(NLP)で使用される「言葉の袋」アプローチに類似したラベルの集合として扱う。 異なる相関指標の統計的性質(特に正規化)が,「生成バイアス」が検出されるラベルの異なる集合にどのようにつながるかを実証する。
• 参考スコア（独自算出の注目度）: 2.802021236064919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in computer vision have led to the development of image classification models that can predict tens of thousands of object classes. Training these models can require millions of examples, leading to a demand of potentially billions of annotations. In practice, however, images are typically sparsely annotated, which can lead to problematic biases in the distribution of ground truth labels that are collected. This potential for annotation bias may then limit the utility of ground truth-dependent fairness metrics (e.g., Equalized Odds). To address this problem, in this work we introduce a new framing to the measurement of fairness and bias that does not rely on ground truth labels. Instead, we treat the model predictions for a given image as a set of labels, analogous to a 'bag of words' approach used in Natural Language Processing (NLP). This allows us to explore different association metrics between prediction sets in order to detect patterns of bias. We apply this approach to examine the relationship between identity labels, and all other labels in the dataset, using labels associated with 'male' and 'female') as a concrete example. We demonstrate how the statistical properties (especially normalization) of the different association metrics can lead to different sets of labels detected as having "gender bias". We conclude by demonstrating that pointwise mutual information normalized by joint probability (nPMI) is able to detect many labels with significant gender bias despite differences in the labels' marginal frequencies. Finally, we announce an open-sourced nPMI visualization tool using TensorBoard.
• Abstract（参考訳）: コンピュータビジョンの最近の進歩は、何万ものオブジェクトクラスを予測できる画像分類モデルの開発につながっている。 これらのモデルのトレーニングには数百万のサンプルが必要となり、数十億のアノテーションが要求されます。 しかし実際には、画像は概して微妙に注釈付けされ、収集された基底真理ラベルの分布に問題のあるバイアスをもたらす。 このアノテーションバイアスのポテンシャルは、基底真理依存の公平性指標(例えば等化オッズ)の有用性を制限する可能性がある。 この問題に対処するため,本研究では,根拠の真理ラベルに依存しない公平さとバイアスの測定に新たなフレーミングを導入する。 代わりに、与えられた画像のモデル予測をラベルの集合として扱い、自然言語処理(NLP)で使用される「単語のバグ」アプローチに類似する。 これにより、バイアスのパターンを検出するために、予測セット間で異なる関連メトリクスを探索できる。 本手法を用いて,データセット内の識別ラベルと他のすべてのラベルとの関係を,具体的な例として「男性」と「女性」に関連付けられたラベルを用いて検討する。 異なる相関指標の統計特性(特に正規化)が「ジェンダーバイアス」を持つと検出されたラベルの異なるセットにどのように導かれるかを示す。 統合確率 (npmi) によって正規化されたポイントワイズ相互情報では, 境界周波数の違いにもかかわらず, 有意な性別バイアスを持つ多くのラベルを検出できることを示した。 最後に、TensorBoardを使用したオープンソースnPMI視覚化ツールを発表しました。

関連論文リスト

• Leveraging Ensemble Diversity for Robust Self-Training in the Presence of Sample Selection Bias [5.698050337128548]
  半教師付き学習において、自己学習はよく知られたアプローチである。モデルが自信を持ってラベル付きデータに擬似ラベルを反復的に割り当て、ラベル付き例として扱う。 ニューラルネットワークの場合、ソフトマックス予測確率はしばしば信頼度尺度として使用されるが、誤った予測であっても過度に信頼されていることが知られている。 本稿では,線形分類器のアンサンブルの予測多様性に基づいて,$mathcalT$-similarityと呼ばれる新しい信頼度尺度を提案する。
  論文  参考訳（メタデータ） (2023-10-23T11:30:06Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Fairness and Bias in Truth Discovery Algorithms: An Experimental Analysis [7.575734557466221]
  群衆労働者は信頼できないラベルを提供することもある。 真理探索(TD)アルゴリズムを用いて、競合するワーカー応答からコンセンサスラベルを決定する。 我々はTDアルゴリズムのバイアスと公平性を体系的に研究する。
  論文  参考訳（メタデータ） (2023-04-25T04:56:35Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Unbiased Loss Functions for Multilabel Classification with Missing Labels [2.1549398927094874]
  欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。 本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-09-23T10:39:02Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。