論文の概要: Debiasing Algorithm through Model Adaptation
- arxiv url: http://arxiv.org/abs/2310.18913v2
- Date: Thu, 18 Jan 2024 14:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:44:02.444006
- Title: Debiasing Algorithm through Model Adaptation
- Title(参考訳): モデル適応によるデバイアスアルゴリズム
- Authors: Tomasz Limisiewicz and David Mare\v{c}ek and Tom\'a\v{s} Musil
- Abstract要約: 因果解析を行い、問題のあるモデル成分を同定し、フィードフォワードの中間層が最もバイアスを伝達しやすいことを明らかにする。
解析結果に基づいて,これらの層を線形投影により乗算することでモデルを適応させる。
提案手法であるDAMAは,下流タスクにおけるモデルの性能を維持しながら,様々な指標によって測定されるバイアスを著しく低減する。
- 参考スコア(独自算出の注目度): 6.161975764126452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are becoming the go-to solution for various language
tasks. However, with growing capacity, models are prone to rely on spurious
correlations stemming from biases and stereotypes present in the training data.
This work proposes a novel method for detecting and mitigating gender bias in
language models. We perform causal analysis to identify problematic model
components and discover that mid-upper feed-forward layers are most prone to
convey biases. Based on the analysis results, we adapt the model by multiplying
these layers by a linear projection. Our titular method, DAMA, significantly
decreases bias as measured by diverse metrics while maintaining the model's
performance on downstream tasks. We release code for our method and models,
which retrain LLaMA's state-of-the-art performance while being significantly
less biased.
- Abstract(参考訳): 大規模言語モデルは、さまざまな言語タスクのゴーツーソリューションになりつつある。
しかし、能力の増大に伴い、モデルはトレーニングデータに存在するバイアスやステレオタイプから生じる急激な相関に依存する傾向にある。
本研究では,言語モデルにおけるジェンダーバイアスの検出と緩和手法を提案する。
問題のあるモデルコンポーネントを識別するために因果分析を行い、中間フィードフォワード層が最もバイアスを伝達しやすいことを発見します。
解析結果に基づいて,これらの層を線形射影で乗じることで,モデルに適応する。
提案手法であるDAMAは,下流タスクにおけるモデルの性能を維持しながら,様々な指標によって測定されるバイアスを著しく低減する。
当社は,llamaの最先端性能を再トレーニングしながら,バイアスを少なくする手法とモデルのコードをリリースしています。
関連論文リスト
- MAFIA: Multi-Adapter Fused Inclusive LanguAge Models [13.793816113015513]
プレトレーニング言語モデル(PLM)は、様々なタスクでNLPで広く使われている。
近年の研究では、そのようなモデルが示す様々なバイアスを特定し、これらのバイアスを修正する方法を提案している。
本稿では,様々な社会的バイアスの相乗効果を活用し,同時にマルチバイアス・デバイアスを可能にするデバイアスモデルを提案する。
論文 参考訳(メタデータ) (2024-02-12T09:41:00Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳(メタデータ) (2023-11-28T16:46:14Z) - Identifying and Adapting Transformer-Components Responsible for Gender
Bias in an English Language Model [1.6343144783668118]
言語モデル(LM)は、性別バイアスを含むトレーニングデータから得られた多くの種類の望ましくないバイアスを示し、増幅する。
本研究では,LM成分と特定の出力の因果関係を同定する3つの手法について検討する。
本手法をGPT-2の小型化と性別バイアスの問題に適用し,検出した成分群を用いてパラメータ効率の良い微調整を行い,バイアス軽減を行う。
論文 参考訳(メタデータ) (2023-10-19T09:39:21Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳(メタデータ) (2023-03-30T17:30:42Z) - Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。
DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。
以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
論文 参考訳(メタデータ) (2023-02-13T12:39:45Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - A Generative Approach for Mitigating Structural Biases in Natural
Language Inference [24.44419010439227]
本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。
このアプローチは大量のバイアスに対して非常に堅牢であることを示す。
生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
論文 参考訳(メタデータ) (2021-08-31T17:59:45Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。