論文の概要: Effective Controllable Bias Mitigation for Classification and Retrieval
using Gate Adapters
- arxiv url: http://arxiv.org/abs/2401.16457v1
- Date: Mon, 29 Jan 2024 09:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 17:43:56.221761
- Title: Effective Controllable Bias Mitigation for Classification and Retrieval
using Gate Adapters
- Title（参考訳）: ゲートアダプタを用いた分類・検索のための効果的な制御可能なバイアス緩和
- Authors: Shahed Masoudian, Cornelia Volaucnik, Markus Schedl, Shahed Masoudian
- Abstract要約: 調整可能な感度パラメータを持つ新しいモジュラーゲーティング機構である制御可能なゲートアダプタ(ConGater)を導入する。
本研究では,(1)正当性リストの正則化による検索結果の偏りの低減と,(2)正当性リストの正則化による検索結果の偏りの低減,という3つの分類課題に対して,逆偏り実験を3つの異なるモデルで実施することで,ConGaterのパフォーマンスを実証する。
本研究の結果から, 完全脱バイアス型 ConGater は, 最近の強靭性ベースラインの2倍以上のタスク性能を維持しつつ, 同等の公平性を達成できることが示唆された。
- 参考スコア（独自算出の注目度）: 9.402824725968792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bias mitigation of Language Models has been the topic of many studies with a
recent focus on learning separate modules like adapters for on-demand
debiasing. Besides optimizing for a modularized debiased model, it is often
critical in practice to control the degree of bias reduction at inference time,
e.g., in order to tune for a desired performance-fairness trade-off in search
results or to control the strength of debiasing in classification tasks. In
this paper, we introduce Controllable Gate Adapter (ConGater), a novel modular
gating mechanism with adjustable sensitivity parameters, which allows for a
gradual transition from the biased state of the model to the fully debiased
version at inference time. We demonstrate ConGater performance by (1)
conducting adversarial debiasing experiments with three different models on
three classification tasks with four protected attributes, and (2) reducing the
bias of search results through fairness list-wise regularization to enable
adjusting a trade-off between performance and fairness metrics. Our experiments
on the classification tasks show that compared to baselines of the same
caliber, ConGater can maintain higher task performance while containing less
information regarding the attributes. Our results on the retrieval task show
that the fully debiased ConGater can achieve the same fairness performance
while maintaining more than twice as high task performance than recent strong
baselines. Overall, besides strong performance ConGater enables the continuous
transitioning between biased and debiased states of models, enhancing
personalization of use and interpretability through controllability.
- Abstract（参考訳）: 言語モデルのバイアス緩和は、オンデマンドデバイアスのためのアダプタのような別々のモジュールを学ぶことに最近焦点をあてた多くの研究のトピックとなっている。
モジュラー化デバイアスモデルの最適化に加えて、例えば検索結果における所望のパフォーマンス-公正トレードオフを調整したり、分類タスクにおけるデバイアスの強度を制御したりするために、推論時間におけるバイアス低減の度合いを制御することがしばしば重要である。
本稿では,モデルの偏り状態から完全に偏りのあるバージョンへの段階的な遷移を可能にする,感度パラメータを調節可能なモジュール型ゲーティング機構である controllable gate adapter (congater) を提案する。
本研究は,(1)4つの保護属性を持つ3つの分類タスクにおいて,3つの異なるモデルを用いた敵対的デバイアス実験を行い,(2)フェアネスリストワイズ正則化による検索結果のバイアスを低減し,パフォーマンスとフェアネス指標のトレードオフを調整可能にすることで,コンガター性能を実証する。
分類タスクに関する実験では,同じ口径のベースラインと比較して,属性に関する情報を少ないまま高いタスク性能を維持することができた。
検索タスクの結果,完全偏りのあるコンガターは,最近の強力なベースラインよりも2倍以上高いタスク性能を維持しながら,同一のフェアネス性能を達成できることがわかった。
全体として、強力なパフォーマンスに加えて、ConGaterはモデルのバイアス状態とバイアス状態の連続的な遷移を可能にし、可制御性を通じて使用のパーソナライズと解釈可能性を高める。
関連論文リスト
- Debiasify: Self-Distillation for Unsupervised Bias Mitigation [19.813054813868476]
単純性バイアスはニューラルネットワークにおいて重要な課題となり、しばしばモデルがより単純な解を好んで、急激な相関による決定規則を不注意に学習する。
バイアスの性質に関する事前の知識を必要としない新しい自己蒸留アプローチであるDebiasifyを紹介します。
提案手法は, 複雑で高精度な特徴を含む深い層から, より単純な特性条件を持つ浅層へと, ネットワーク内の知識を伝達するために, 新たな蒸留損失を生かしている。
論文 参考訳（メタデータ） (2024-11-01T16:25:05Z) - Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - The Trade-off between Performance, Efficiency, and Fairness in Adapter Modules for Text Classification [0.0]
我々は,(1)全てのパラメータを微調整するか,(2)アダプタモジュールを用いて3つのテキスト分類データセットで実験を行う。
性能と効率については,アダプタ強化モデルの精度が完全微調整モデルの精度とほぼ同等であることを確認する。
アダプタモジュールは、センシティブなグループ間で混合フェアネスをもたらすことを示す。
論文 参考訳（メタデータ） (2024-05-03T11:18:47Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳（メタデータ） (2023-06-06T23:56:18Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳（メタデータ） (2023-03-15T07:13:54Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。
DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。
以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
論文 参考訳（メタデータ） (2023-02-13T12:39:45Z) - Self-supervised debiasing using low rank regularization [59.84695042540525]
純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。
ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。
注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
論文 参考訳（メタデータ） (2022-10-11T08:26:19Z) - Modular and On-demand Bias Mitigation with Attribute-Removal Subnetworks [10.748627178113418]
本稿では, 単独で高度に疎細なデビアシングワークからなる, 新たなモジュラーバイアス緩和手法を提案する。
我々は、性別、人種、年齢の3つの分類タスクを保護属性として実験する。
論文 参考訳（メタデータ） (2022-05-30T15:21:25Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。