論文の概要: Bias Mitigation in Fine-tuning Pre-trained Models for Enhanced Fairness and Efficiency

• arxiv url: http://arxiv.org/abs/2403.00625v1
• Date: Fri, 1 Mar 2024 16:01:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:56:23.050404
• Title: Bias Mitigation in Fine-tuning Pre-trained Models for Enhanced Fairness and Efficiency
• Title（参考訳）: 微調整プレトレーニングモデルにおけるバイアス低減による公正性と効率の向上
• Authors: Yixuan Zhang and Feng Zhou
• Abstract要約: 新しいタスクにおけるバイアスを軽減するために特別に設計された、効率的で堅牢な微調整フレームワークを導入します。 我々の経験的分析は、異なる人口集団の予測に影響を与える事前学習モデルのパラメータが異なることを示している。 我々は、人口集団間でフィッシャー情報を用いて決定された、これらの影響力のある重みの重要性を中和する伝達学習戦略を採用している。
• 参考スコア（独自算出の注目度）: 26.86557244460215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained models is a widely employed technique in numerous real-world applications. However, fine-tuning these models on new tasks can lead to unfair outcomes. This is due to the absence of generalization guarantees for fairness properties, regardless of whether the original pre-trained model was developed with fairness considerations. To tackle this issue, we introduce an efficient and robust fine-tuning framework specifically designed to mitigate biases in new tasks. Our empirical analysis shows that the parameters in the pre-trained model that affect predictions for different demographic groups are different, so based on this observation, we employ a transfer learning strategy that neutralizes the importance of these influential weights, determined using Fisher information across demographic groups. Additionally, we integrate this weight importance neutralization strategy with a matrix factorization technique, which provides a low-rank approximation of the weight matrix using fewer parameters, reducing the computational demands. Experiments on multiple pre-trained models and new tasks demonstrate the effectiveness of our method.
• Abstract（参考訳）: 微調整事前学習モデルは多くの実世界のアプリケーションで広く使われている技術である。 しかし、これらのモデルを新しいタスクで微調整することは不公平な結果をもたらす可能性がある。 これは、本来の事前学習モデルがフェアネスを考慮した開発であったかどうかに関わらず、フェアネス特性の一般化保証がないためである。 この問題に取り組むために,新しいタスクにおけるバイアスを軽減するために特別に設計された効率的でロバストな微調整フレームワークを提案する。 本研究は, 群集の予測に影響を与える事前学習モデルにおけるパラメータが異なることを示し, 群集間でのフィッシャー情報を用いて決定されるこれらの影響重みの重要性を中和する伝達学習戦略を用いる。 さらに,この重み付け重要度中立化戦略を行列因子化手法と統合し,より少ないパラメータを用いて重み付け行列の低ランク近似を行い,計算量を削減する。 複数の事前学習モデルと新しいタスクの実験により,本手法の有効性が示された。

関連論文リスト

• Optimizing importance weighting in the presence of sub-population shifts [0.0]
  トレーニングデータとテストデータの間の分散シフトは、機械学習モデルの性能を著しく損なう可能性がある。 トレーニングデータの有限標本サイズによる推定モデルのばらつきの増大を無視するため,既存の重み付けは準最適であると主張する。 重みとモデルパラメータを同時に最適化する二段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T09:21:10Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Gradient Surgery for One-shot Unlearning on Generative Model [0.989293617504294]
  我々は、深層生成モデルに影響を及ぼすデータを取り除くための、単純で効果的なアプローチを導入する。 マルチタスク学習における作業に触発されて,サンプル間の影響の相互作用を規則化する勾配の操作を提案する。
  論文  参考訳（メタデータ） (2023-07-10T13:29:23Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。