論文の概要: Towards Real World Debiasing: A Fine-grained Analysis On Spurious Correlation

• arxiv url: http://arxiv.org/abs/2405.15240v1
• Date: Fri, 24 May 2024 06:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 16:00:17.670537
• Title: Towards Real World Debiasing: A Fine-grained Analysis On Spurious Correlation
• Title（参考訳）: 現実世界のデバイアス化に向けて:スプーラス相関のきめ細かい分析
• Authors: Zhibo Wang, Peng Kuang, Zhixuan Chu, Jingyi Wang, Kui Ren,
• Abstract要約: 既存のベンチマークと実世界のデータセットのバイアス分布を再検討し、データセットバイアスを分析するためのきめ細かいフレームワークを提案する。 その結果,既存の手法では現実のバイアスに対処できないことがわかった。 本稿では,Debias in Destruction (DiD) という,既存のデバイアス法に容易に適用可能な,シンプルかつ効果的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.080528126651977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spurious correlations in training data significantly hinder the generalization capability of machine learning models when faced with distribution shifts in real-world scenarios. To tackle the problem, numerous debias approaches have been proposed and benchmarked on datasets intentionally designed with severe biases. However, it remains to be asked: \textit{1. Do existing benchmarks really capture biases in the real world? 2. Can existing debias methods handle biases in the real world?} To answer the questions, we revisit biased distributions in existing benchmarks and real-world datasets, and propose a fine-grained framework for analyzing dataset bias by disentangling it into the magnitude and prevalence of bias. We observe and theoretically demonstrate that existing benchmarks poorly represent real-world biases. We further introduce two novel biased distributions to bridge this gap, forming a nuanced evaluation framework for real-world debiasing. Building upon these results, we evaluate existing debias methods with our evaluation framework. Results show that existing methods are incapable of handling real-world biases. Through in-depth analysis, we propose a simple yet effective approach that can be easily applied to existing debias methods, named Debias in Destruction (DiD). Empirical results demonstrate the superiority of DiD, improving the performance of existing methods on all types of biases within the proposed evaluation framework.
• Abstract（参考訳）: トレーニングデータの鮮やかな相関は、実世界のシナリオにおける分散シフトに直面した場合、機械学習モデルの一般化能力を著しく損なう。 この問題に対処するため、多くのデバイアスアプローチが提案され、重度のバイアスで意図的に設計されたデータセット上でベンチマークされている。 ただし、質問は以下の通りである。 既存のベンチマークは実際に現実世界のバイアスを捉えていますか? 2。 既存のデバイアス法は現実世界のバイアスを扱えるか? 既存のベンチマークと実世界のデータセットのバイアス分布を再検討し、バイアスの大きさと頻度に分解してデータセットバイアスを分析するためのきめ細かいフレームワークを提案する。 既存のベンチマークが現実世界のバイアスを十分に表していないことを観察し、理論的に実証する。 さらに、このギャップを埋めるために、2つの新しいバイアス分布を導入し、現実世界のデバイアスに対するニュアンス評価フレームワークを構築します。 これらの結果に基づいて,既存のデバイアス法を評価枠組みを用いて評価する。 その結果,既存の手法では現実のバイアスを扱えないことがわかった。 そこで本研究では,Debias in Destruction (DiD) という,既存のデバイアス法に容易に適用可能な,シンプルかつ効果的な手法を提案する。 実験により,提案した評価フレームワーク内のすべての種類のバイアスに対する既存手法の性能を向上し,DiDの優位性を実証した。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Looking at Model Debiasing through the Lens of Anomaly Detection [11.113718994341733]
  ディープニューラルネットワークはデータのバイアスに敏感である。 本稿では,異常検出に基づく新しいバイアス同定手法を提案する。 合成および実際のベンチマークデータセット上で、最先端のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-07-24T17:30:21Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations [4.960902915238239]
  本稿では,既存のデバイアス法に適用可能な理論的に保証されたモデル非依存バランス手法を提案する。 提案手法では, バイアスデータを用いて学習したモデルパラメータを補正し, バイアスデータのバランス係数を適応的に学習することで, バイアスデータを完全に活用する。
  論文  参考訳（メタデータ） (2023-04-17T08:56:55Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
  NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。 本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-25T15:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。