論文の概要: Towards Real-world Debiasing: Rethinking Evaluation, Challenge, and Solution

• arxiv url: http://arxiv.org/abs/2405.15240v4
• Date: Wed, 21 May 2025 08:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:56.698014
• Title: Towards Real-world Debiasing: Rethinking Evaluation, Challenge, and Solution
• Title（参考訳）: 現実のデバイアスへの道 - 評価、挑戦、解決策の再考
• Authors: Peng Kuang, Zhibo Wang, Zhixuan Chu, Jingyi Wang, Kui Ren,
• Abstract要約: 我々は、このギャップを埋め、現実のデバイアスのための体系的な評価フレームワークを構築するために、2つの新しい現実世界に着想を得たバイアスを導入します。 この課題に対処するため,Debias in Destruction (DiD) というシンプルなアプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.080528126651977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spurious correlations in training data significantly hinder the generalization capability of machine learning models when faced with distribution shifts, leading to the proposition of numberous debiasing methods. However, it remains to be asked: \textit{Do existing benchmarks for debiasing really represent biases in the real world?} Recent works attempt to address such concerns by sampling from real-world data (instead of synthesizing) according to some predefined biased distributions to ensure the realism of individual samples. However, the realism of the biased distribution is more critical yet challenging and underexplored due to the complexity of real-world bias distributions. To tackle the problem, we propose a fine-grained framework for analyzing biased distributions, based on which we empirically and theoretically identify key characteristics of biased distributions in the real world that are poorly represented by existing benchmarks. Towards applicable debiasing in the real world, we further introduce two novel real-world-inspired biases to bridge this gap and build a systematic evaluation framework for real-world debiasing, RDBench\footnote{RDBench: Code to be released. Preliminary version in supplementary material for anonimized review.}. Furthermore, focusing on the practical setting of debiasing w/o bias label, we find real-world biases pose a novel \textit{Sparse bias capturing} challenge to the existing paradigm. We propose a simple yet effective approach named Debias in Destruction (DiD), to address the challenge, whose effectiveness is validated with extensive experiments on 8 datasets of various biased distributions.
• Abstract（参考訳）: トレーニングデータの鮮やかな相関は、分散シフトに直面した機械学習モデルの一般化能力を著しく損なうため、多数のデバイアス法が提案される。 \textit{Do existing benchmarks for debiasing really represent biases in the real world? 最近の研究は、個々のサンプルの現実性を確保するために、予め定義されたバイアス分布に基づいて、実世界のデータから(合成の代わりに)サンプリングすることで、そのような問題に対処しようとしている。 しかし、バイアス分布の現実性は、現実のバイアス分布の複雑さのため、より批判的だが挑戦的であり、未発見である。 この問題に対処するために,既存のベンチマークで表現されていない実世界の偏り分布の重要な特徴を実験的に理論的に同定する,偏り分布を解析するためのきめ細かいフレームワークを提案する。 このギャップを埋め、現実のデバイアスのための体系的な評価フレームワークRDBench\footnote{RDBench: リリース予定のコードを構築します。 アニオン化レビュー用補充材料の予備版 と。 さらに,w/oバイアスラベルのデバイアス化の実践的設定に注目し,実世界のバイアスが既存のパラダイムに新しい「textit{Sparse bias capture}」課題をもたらすことを発見した。 Debias in Destruction (DiD) というシンプルなアプローチを提案し、様々な偏りのある分布の8つのデータセットに対する広範囲な実験により、この課題に対処する。

関連論文リスト

• Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
  ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。 本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。 本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。 DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
  論文  参考訳（メタデータ） (2025-01-02T17:01:06Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Looking at Model Debiasing through the Lens of Anomaly Detection [11.113718994341733]
  ディープニューラルネットワークはデータのバイアスに敏感である。 本稿では,異常検出に基づく新しいバイアス同定手法を提案する。 合成および実際のベンチマークデータセット上で、最先端のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-07-24T17:30:21Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations [4.960902915238239]
  本稿では,既存のデバイアス法に適用可能な理論的に保証されたモデル非依存バランス手法を提案する。 提案手法では, バイアスデータを用いて学習したモデルパラメータを補正し, バイアスデータのバランス係数を適応的に学習することで, バイアスデータを完全に活用する。
  論文  参考訳（メタデータ） (2023-04-17T08:56:55Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
  NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。 本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-25T15:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。