論文の概要: DPA: A one-stop metric to measure bias amplification in classification datasets

• arxiv url: http://arxiv.org/abs/2412.11060v3
• Date: Thu, 30 Oct 2025 23:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 15:46:16.848045
• Title: DPA: A one-stop metric to measure bias amplification in classification datasets
• Title（参考訳）: DPA: 分類データセットにおけるバイアス増幅測定のためのワンストップ尺度
• Authors: Bhanu Tokas, Rahul Nair, Hannah Kerner,
• Abstract要約: 方向予測可能性増幅(英: Directional Predictability Amplification、DPA)は、予測可能性に基づくメトリクスであり、バランスの取れたデータセットとバランスの取れていないデータセットで動作し、正と負のバイアス増幅を正しく識別する。 DPAと既存のバイアス増幅メトリクスを比較するために、我々は主要なバイアス増幅メトリクスのワンストップライブラリをリリースした。
• 参考スコア（独自算出の注目度）: 17.629022217657088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most ML datasets today contain biases. When we train models on these datasets, they often not only learn these biases but can worsen them -- a phenomenon known as bias amplification. Several co-occurrence-based metrics have been proposed to measure bias amplification in classification datasets. They measure bias amplification between a protected attribute (e.g., gender) and a task (e.g., cooking). These metrics also support fine-grained bias analysis by identifying the direction in which a model amplifies biases. However, co-occurrence-based metrics have limitations -- some fail to measure bias amplification in balanced datasets, while others fail to measure negative bias amplification. To solve these issues, recent work proposed a predictability-based metric called leakage amplification (LA). However, LA cannot identify the direction in which a model amplifies biases. We propose Directional Predictability Amplification (DPA), a predictability-based metric that is (1) directional, (2) works with balanced and unbalanced datasets, and (3) correctly identifies positive and negative bias amplification. DPA eliminates the need to evaluate models on multiple metrics to verify these three aspects. DPA also improves over prior predictability-based metrics like LA: it is less sensitive to the choice of attacker function (a hyperparameter in predictability-based metrics), reports scores within a bounded range, and accounts for dataset bias by measuring relative changes in predictability. Our experiments on well-known datasets like COMPAS (a tabular dataset), COCO, and ImSitu (image datasets) show that DPA is the most reliable metric to measure bias amplification in classification problems. To compare DPA with existing bias amplification metrics, we released a one-stop library of major bias amplification metrics at https://github.com/kerner-lab/Bias-Amplification.
• Abstract（参考訳）: 現在、ほとんどのMLデータセットにはバイアスが含まれている。 これらのデータセットでモデルをトレーニングする場合、これらのバイアスを学習するだけでなく、バイアス増幅と呼ばれる現象を悪化させる場合もあります。 分類データセットのバイアス増幅を測定するために、共起に基づくいくつかの指標が提案されている。 それらは保護された属性(例:性別)とタスク(例:料理)の間のバイアス増幅を測定する。 これらのメトリクスは、モデルがバイアスを増幅する方向を特定することによって、きめ細かいバイアス分析もサポートする。 しかし、共起性に基づくメトリクスには制限がある -- バランスの取れたデータセットのバイアス増幅を測定するのに失敗する者もいれば、負のバイアス増幅を測定するのに失敗する者もいる。 これらの問題を解決するために、最近の研究は、漏洩増幅(LA)と呼ばれる予測可能性に基づく計量を提案した。 しかし、LAはモデルがバイアスを増幅する方向を特定することができない。 本稿では,(1)指向性,(2)バランスの取れたデータセット,(3)正と負のバイアス増幅を正しく識別する,予測可能性に基づく指標である方向予測可能性増幅(DPA)を提案する。 DPAは、これらの3つの側面を検証するために、複数のメトリクスでモデルを評価する必要がない。 DPAはまた、LAのような事前の予測可能性ベースのメトリクスよりも改善されている。アタッカー関数の選択(予測可能性ベースのメトリクスのハイパーパラメータ)、境界範囲内のレポートスコア、予測可能性の相対的な変化を測定することでデータセットバイアスを考慮に入れている。 COMPAS(表付きデータセット)やCOCO(画像データセット)、ImSitu(画像データセット)のようなよく知られたデータセットに対する実験は、DPAが分類問題におけるバイアス増幅を測定する最も信頼性の高い指標であることを示している。 DPAと既存のバイアス増幅メトリクスを比較するため、私たちはhttps://github.com/kerner-lab/Bias-Amplificationで主要なバイアス増幅メトリクスのワンストップライブラリをリリースしました。

関連論文リスト

• Measuring directional bias amplification in image captions using predictability [13.041091740013808]
  MLデータセットのバイアス増幅を測定するために,DPAC(Directional Predictability Amplification in Captioning)を提案する。 DPACはキャプションの方向バイアス増幅を測定し、データセットバイアスをよりよく推定し、攻撃モデルに敏感でない。 COCOキャプションデータセットを用いた実験は, DPACがキャプションのバイアス増幅測定において最も信頼性の高い指標であることを示す。
  論文  参考訳（メタデータ） (2025-03-10T21:50:58Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Men Also Do Laundry: Multi-Attribute Bias Amplification [2.492300648514129]
  コンピュータビジョンシステムは再生だけでなく、有害な社会的バイアスを増幅している。 マルチ属性バイアス増幅という新しい指標を提案する。 提案手法は,COCOおよびImsituデータセットにおける性別バイアス増幅の分析を通じて検証する。
  論文  参考訳（メタデータ） (2022-10-21T12:50:15Z)
• A Systematic Study of Bias Amplification [16.245943270343343]
  近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
  論文  参考訳（メタデータ） (2022-01-27T18:04:24Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Directional Bias Amplification [21.482317675176443]
  バイアス増幅(bias amplification)は、モデルがトレーニングしたデータに存在するバイアスを増幅する傾向である。 バイアス増幅を測定するためのメトリックは、Zhao et alによるセミナル作品に導入されました。 バイアス増幅測定のための新しい分離指標である$textbiasamp_rightarrow$(方向バイアス増幅)を紹介し分析する。
  論文  参考訳（メタデータ） (2021-02-24T22:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。