論文の概要: CosFairNet:A Parameter-Space based Approach for Bias Free Learning
- arxiv url: http://arxiv.org/abs/2410.15094v1
- Date: Sat, 19 Oct 2024 13:06:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:20:01.591661
- Title: CosFairNet:A Parameter-Space based Approach for Bias Free Learning
- Title（参考訳）: CosFairNet:パラメータ空間に基づくバイアスフリーラーニングのためのアプローチ
- Authors: Rajeev Ranjan Dwivedi, Priyadarshini Kumari, Vinod K Kurmi,
- Abstract要約: バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。
本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。
各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
- 参考スコア（独自算出の注目度）: 1.9116784879310025
- License:
- Abstract: Deep neural networks trained on biased data often inadvertently learn unintended inference rules, particularly when labels are strongly correlated with biased features. Existing bias mitigation methods typically involve either a) predefining bias types and enforcing them as prior knowledge or b) reweighting training samples to emphasize bias-conflicting samples over bias-aligned samples. However, both strategies address bias indirectly in the feature or sample space, with no control over learned weights, making it difficult to control the bias propagation across different layers. Based on this observation, we introduce a novel approach to address bias directly in the model's parameter space, preventing its propagation across layers. Our method involves training two models: a bias model for biased features and a debias model for unbiased details, guided by the bias model. We enforce dissimilarity in the debias model's later layers and similarity in its initial layers with the bias model, ensuring it learns unbiased low-level features without adopting biased high-level abstractions. By incorporating this explicit constraint during training, our approach shows enhanced classification accuracy and debiasing effectiveness across various synthetic and real-world datasets of different sizes. Moreover, the proposed method demonstrates robustness across different bias types and percentages of biased samples in the training data. The code is available at: https://visdomlab.github.io/CosFairNet/
- Abstract（参考訳）: バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、特にラベルがバイアス付き特徴と強く相関している場合、意図しない推論規則を必然的に学習する。
既存のバイアス緩和法は典型的にはいずれかにかかわる
a) バイアスの種類を事前に定義し、それらを事前の知識として強制すること
ロ バイアス対応サンプルよりもバイアス対応サンプルを強調するためのトレーニングサンプルを再重み付けすること。
しかし、どちらの戦略も、学習した重みを制御せずに、特徴空間やサンプル空間のバイアスに間接的に対処するため、異なる層をまたいだバイアスの伝搬を制御することは困難である。
そこで本研究では,モデルのパラメータ空間内で直接バイアスに対処し,層間の伝播を防止する新しい手法を提案する。
バイアスのある特徴のバイアスモデルとバイアスのない詳細のバイアスモデルである。
我々は、デバイアスモデルの後期層と初期の層とバイアスモデルとの類似性を強制し、バイアス付き高レベルの抽象化を採用することなく、バイアスなしの低レベルの特徴を学習することを保証する。
この明示的な制約をトレーニング中に組み込むことで、異なる大きさの様々な合成および実世界のデータセットにまたがる分類精度と偏りの低減効果を示す。
さらに,本手法は,トレーニングデータ中の様々なバイアスタイプと偏りサンプルの割合にまたがるロバスト性を示す。
コードは、https://visdomlab.github.io/CosFairNet/で入手できる。
関連論文リスト
- Model Debiasing by Learnable Data Augmentation [19.625915578646758]
本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。
合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
論文 参考訳（メタデータ） (2024-08-09T09:19:59Z) - Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
統計的観点から「データセットバイアス」問題を考察する。
問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。
本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
論文 参考訳（メタデータ） (2024-02-05T22:58:06Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo
Chamber [17.034228910493056]
本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。
本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。
提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
論文 参考訳（メタデータ） (2023-05-06T13:13:18Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-11T06:16:14Z) - Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。
本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。
提案手法は他の最先端手法よりも一貫した改善を実現した。
論文 参考訳（メタデータ） (2022-03-18T11:02:18Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Learning Debiased Models with Dynamic Gradient Alignment and
Bias-conflicting Sample Mining [39.00256193731365]
ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。
難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
論文 参考訳（メタデータ） (2021-11-25T14:50:10Z) - BiaSwap: Removing dataset bias with bias-tailored swapping augmentation [20.149645246997668]
ディープニューラルネットワークは、データセット固有のスプリットな相関に基づいて決定することが多く、偏りのないデータ分布を一般化することができない。
本稿では,バイアスタイプの監督を必要とせず,非バイアス表現を学習するための,バイアス調整強化に基づく新しいアプローチBiaSwapを提案する。
論文 参考訳（メタデータ） (2021-08-23T08:35:26Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳（メタデータ） (2020-07-06T07:20:29Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳（メタデータ） (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。