Fugu-MT 論文翻訳(概要): BMFT: Achieving Fairness via Bias-based Weight Masking Fine-tuning

論文の概要: BMFT: Achieving Fairness via Bias-based Weight Masking Fine-tuning

arxiv url: http://arxiv.org/abs/2408.06890v1
Date: Tue, 13 Aug 2024 13:36:48 GMT
ステータス: 処理完了
システム内更新日: 2024-08-14 17:26:52.258168
Title: BMFT: Achieving Fairness via Bias-based Weight Masking Fine-tuning
Title（参考訳）: BMFT:バイアスをベースとした軽量マスキングによるフェアネス達成
Authors: Yuyang Xue, Junyu Yan, Raman Dutt, Fasih Haider, Jingshuai Liu, Steven McDonagh, Sotirios A. Tsaftaris,
Abstract要約: Bias-based Weight Masking Fine-Tuning (BMFT) は、訓練されたモデルの公平性を大幅に向上させる新しい後処理手法である。 BMFTはモデルパラメータの上にマスクを生成し、偏りのある予測に最も寄与する重みを効率的に識別する。 4つの皮膚科学データセットと2つの感度特性による実験により、BMFTは診断精度と公正度の両方で既存の最先端(SOTA)技術より優れていることが示された。
参考スコア（独自算出の注目度）: 17.857930204697983
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Developing models with robust group fairness properties is paramount, particularly in ethically sensitive domains such as medical diagnosis. Recent approaches to achieving fairness in machine learning require a substantial amount of training data and depend on model retraining, which may not be practical in real-world scenarios. To mitigate these challenges, we propose Bias-based Weight Masking Fine-Tuning (BMFT), a novel post-processing method that enhances the fairness of a trained model in significantly fewer epochs without requiring access to the original training data. BMFT produces a mask over model parameters, which efficiently identifies the weights contributing the most towards biased predictions. Furthermore, we propose a two-step debiasing strategy, wherein the feature extractor undergoes initial fine-tuning on the identified bias-influenced weights, succeeded by a fine-tuning phase on a reinitialised classification layer to uphold discriminative performance. Extensive experiments across four dermatological datasets and two sensitive attributes demonstrate that BMFT outperforms existing state-of-the-art (SOTA) techniques in both diagnostic accuracy and fairness metrics. Our findings underscore the efficacy and robustness of BMFT in advancing fairness across various out-of-distribution (OOD) settings. Our code is available at: https://github.com/vios-s/BMFT
Abstract（参考訳）: 堅牢なグループフェアネス特性を持つモデルを開発することは、特に医学的診断のような倫理的に敏感な領域において最重要である。機械学習における公平性を達成するための最近のアプローチは、かなりの量のトレーニングデータを必要とし、実際のシナリオでは実用的でないかもしれないモデル再トレーニングに依存している。これらの課題を緩和するために,本研究では,トレーニングデータへのアクセスを必要とせずに,トレーニングモデルの公正性を極めて少ないエポックで向上する,新しいポストプロセッシング手法であるBias-based Weight Masking Fine-Tuning (BMFT)を提案する。 BMFTはモデルパラメータの上にマスクを生成し、偏りのある予測に最も寄与する重みを効率的に識別する。さらに,特徴抽出器が同定したバイアス影響重みを初期微調整し,再初期化分類層上で微調整を行い,識別性能を向上する2段階の脱バイアス戦略を提案する。 4つの皮膚科学データセットと2つの感度属性にわたる広範囲な実験により、BMFTは診断精度と公平度の両方で既存の最先端技術(SOTA)よりも優れていることが示された。以上の結果から, BMFTの様々なアウト・オブ・ディストリビューション(OOD)設定における公正性向上効果とロバスト性について考察した。私たちのコードは、https://github.com/vios-s/BMFTで利用可能です。

関連論文リスト

Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文参考訳（メタデータ） (2024-05-28T20:43:53Z)
PUMA: margin-based data pruning [51.12154122266251]
モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2024-05-10T08:02:20Z)
Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文参考訳（メタデータ） (2023-10-19T08:10:57Z)
FairAdaBN: Mitigating unfairness with adaptive batch normalization and its application to dermatological disease classification [14.589159162086926]
バッチ正規化をセンシティブ属性に適応させるFairAdaBNを提案する。本研究では,FATE(Fairness-Accuracy Trade-off efficiency)と呼ばれる新しい指標を提案する。 2つの皮膚科学データセットを用いた実験により,提案手法はフェアネス基準とFATEの他の手法よりも優れていた。
論文参考訳（メタデータ） (2023-03-15T02:22:07Z)
Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文参考訳（メタデータ） (2023-03-06T17:19:23Z)
Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文参考訳（メタデータ） (2023-02-22T14:50:24Z)
FORML: Learning to Reweight Data for Fairness [2.105564340986074]
メタラーニング(FORML)によるフェアネス最適化リヘアリングについて紹介する。 FORMLは、トレーニングサンプル重量とニューラルネットワークのパラメータを共同最適化することで、公正性の制約と精度のバランスを取る。また,FORMLは,既存の最先端再重み付け手法に比べて,画像分類タスクで約1%,顔予測タスクで約5%向上することを示した。
論文参考訳（メタデータ） (2022-02-03T17:36:07Z)
Normalise for Fairness: A Simple Normalisation Technique for Fairness in Regression Machine Learning Problems [46.93320580613236]
回帰問題に対する正規化(FaiReg)に基づく単純かつ効果的な手法を提案する。データバランシングと敵対的トレーニングという,公正性のための2つの標準的な手法と比較する。その結果、データバランスよりも不公平さの影響を低減できる優れた性能を示した。
論文参考訳（メタデータ） (2022-02-02T12:26:25Z)
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。