論文の概要: Parameter Efficient Diff Pruning for Bias Mitigation
- arxiv url: http://arxiv.org/abs/2205.15171v2
- Date: Fri, 29 Jul 2022 11:31:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 17:20:35.949321
- Title: Parameter Efficient Diff Pruning for Bias Mitigation
- Title(参考訳): バイアス緩和のためのパラメータ効率的な差分プルーニング
- Authors: Lukas Hauzenberger and Navid Rekabsaz
- Abstract要約: 本稿では,DiffPruning と adversarial Training の2つの手法を用いて,同時に2つの課題に対処するアーキテクチャを提案する。
その結果、元々のDiffPruningセットアップを拡張し、マスクとして適用されたスパースサブネットワークを追加して、事前定義された保護属性の影響を推論時に減少させるモジュラーアーキテクチャが実現した。
- 参考スコア(独自算出の注目度): 5.54780083433538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years language models have achieved state of the art performance on
a wide variety of natural language processing tasks. As these models are
continuously growing in size it becomes increasingly important to explore
methods to make them more storage efficient. At the same time their increase
cognitive abilities increase the danger that societal bias existing in datasets
are implicitly encoded in the model weights. We propose an architecture which
deals with these two challenges at the same time using two techniques:
DiffPruning and adversarial Training. The result is a modular architecture
which extends the original DiffPruning setup with and additional sparse
subnetwork applied as a mask to diminish the effects of a predefined protected
attribute at inference time.
- Abstract(参考訳): 近年,多種多様な自然言語処理タスクにおいて,言語モデルの性能が向上している。
これらのモデルのサイズが継続的に拡大しているため、より効率的な保存方法を探究することがますます重要になっている。
同時に認知能力の増大は、データセットに存在する社会バイアスが暗黙的にモデルウェイトにエンコードされる危険性を高める。
本稿では,DiffPruning と adversarial Training の2つの手法を用いて,これら2つの課題を同時に扱うアーキテクチャを提案する。
その結果、元々のdiffpruningセットアップを拡張し、マスクとして追加のスパースサブネットワークを適用して、事前定義された保護属性の影響を推論時に減少させるモジュラーアーキテクチャとなる。
関連論文リスト
- Marginal Debiased Network for Fair Visual Recognition [65.64172835624206]
本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。
より具体的には、マージンペナルティという概念をフェアネス問題に導入することにより、マージンのソフトマックスロス(MSL)を設計する。
我々のMDNは、表現不足のサンプルに対して顕著な性能を達成でき、従来の手法と比較して優れたデバイアス結果を得ることができる。
論文 参考訳(メタデータ) (2024-01-04T08:57:09Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳(メタデータ) (2023-12-06T16:15:00Z) - Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo
Chamber [17.034228910493056]
本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。
本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。
提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
論文 参考訳(メタデータ) (2023-05-06T13:13:18Z) - Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。
DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。
以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
論文 参考訳(メタデータ) (2023-02-13T12:39:45Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Learning Debiased Models with Dynamic Gradient Alignment and
Bias-conflicting Sample Mining [39.00256193731365]
ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。
難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
論文 参考訳(メタデータ) (2021-11-25T14:50:10Z) - Model-agnostic bias mitigation methods with regressor distribution
control for Wasserstein-based fairness metrics [0.6509758931804478]
より公平な回帰分布を持つ後処理モデルの構築に基づくバイアス緩和手法を提案する。
提案手法は低次元空間において最適化を行い,コストのかかるモデル再訓練を回避する。
論文 参考訳(メタデータ) (2021-11-19T17:31:22Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳(メタデータ) (2021-02-12T16:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。