論文の概要: Sustainable Modular Debiasing of Language Models
- arxiv url: http://arxiv.org/abs/2109.03646v1
- Date: Wed, 8 Sep 2021 13:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-09 13:50:39.223029
- Title: Sustainable Modular Debiasing of Language Models
- Title（参考訳）: 言語モデルの持続的モジュラーデバイアス
- Authors: Anne Lauscher, Tobias L\"uken, Goran Glava\v{s}
- Abstract要約: 事前訓練された言語モデルからステレオタイプバイアスを取り除くために、デバイアス技術が導入されている。
既存の debiasing メソッドは PLM のパラメータを直接変更する。
本稿では、ADELEと呼ばれる専用デバイアスアダプタに基づく、より持続可能なモジュラーデバイアス手法を提案する。
- 参考スコア（独自算出の注目度）: 2.7178968279054936
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Unfair stereotypical biases (e.g., gender, racial, or religious biases)
encoded in modern pretrained language models (PLMs) have negative ethical
implications for widespread adoption of state-of-the-art language technology.
To remedy for this, a wide range of debiasing techniques have recently been
introduced to remove such stereotypical biases from PLMs. Existing debiasing
methods, however, directly modify all of the PLMs parameters, which -- besides
being computationally expensive -- comes with the inherent risk of
(catastrophic) forgetting of useful language knowledge acquired in pretraining.
In this work, we propose a more sustainable modular debiasing approach based on
dedicated debiasing adapters, dubbed ADELE. Concretely, we (1) inject adapter
modules into the original PLM layers and (2) update only the adapters (i.e., we
keep the original PLM parameters frozen) via language modeling training on a
counterfactually augmented corpus. We showcase ADELE, in gender debiasing of
BERT: our extensive evaluation, encompassing three intrinsic and two extrinsic
bias measures, renders ADELE, very effective in bias mitigation. We further
show that -- due to its modular nature -- ADELE, coupled with task adapters,
retains fairness even after large-scale downstream training. Finally, by means
of multilingual BERT, we successfully transfer ADELE, to six target languages.
- Abstract（参考訳）: 現代の事前訓練言語モデル(PLM)で符号化された不公平なステレオタイプバイアス(性別、人種、宗教的偏見)は、最先端の言語技術の普及に悪影響を及ぼす。
これを解決するために、最近、PLMからこのようなステレオタイプバイアスを取り除くために幅広い脱バイアス技術が導入されている。
しかし、既存のdebiasingメソッドは、計算量的に高価であるだけでなく、事前学習で得られる有用な言語知識を(破滅的に)忘れてしまうという固有のリスクを伴って、plmsパラメーターを直接修正する。
本稿では,adeleと呼ばれる専用デバイアスアダプタに基づく,より持続可能なモジュールデバイアス手法を提案する。
具体的には,(1)オリジナルのplm層にアダプタモジュールを注入し,(2)アダプタのみを更新(つまり,オリジナルのplmパラメータを凍結しておく)し,対極的に拡張されたコーパス上で言語モデリングトレーニングを行う。
adele, in gender debiasing of bert: our extensive evaluation では、3つの内在的バイアス尺度と2つの外在的バイアス尺度を包含し、adeleを非常に効果的にバイアス緩和に役立てます。
さらに、--そのモジュール性のため、ADELEはタスクアダプタと組み合わせて、大規模な下流トレーニングの後にも公平さを維持します。
最後に、多言語BERTを用いてADELEを6つのターゲット言語に転送することに成功した。
関連論文リスト
- MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing [78.62611800987817]
大規模言語モデル(LLM)は、事前学習データに言語が不均等に分布するため、しばしば英語中心である。
そこで本稿では,MoE-LPR (Mixture-of-Experts with Language Priors) と呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2024-08-21T07:43:49Z) - Towards Transfer Unlearning: Empirical Evidence of Cross-Domain Bias Mitigation [18.150899267807965]
大規模言語モデル(LLM)における非学習に基づくデバイアス化のアプローチについて検討する。
テキストの有害部分を解き放つマスク言語モデリングアンラーニング手法を提案する。
実験の結果,言語モデリング能力を維持しながらバイアスを減少させる手法の有効性が示された。
論文 参考訳（メタデータ） (2024-07-24T02:37:42Z) - BiasDPO: Mitigating Bias in Language Models through Direct Preference Optimization [0.0]
大規模言語モデル(LLM)は、自然言語処理の進歩において重要な役割を担っているが、バイアスの持続可能性には重大な懸念がある。
本稿では、英語テキストにおけるジェンダー、人種、宗教的偏見を緩和するために、DPO(Direct Preference Optimization)を用いた新しい枠組みを提案する。
バイアスのある完了よりもバイアスの少ない損失関数を開発することで、我々のアプローチは敬意と非差別的な言語を好む。
論文 参考訳（メタデータ） (2024-07-18T22:32:20Z) - MAFIA: Multi-Adapter Fused Inclusive LanguAge Models [13.793816113015513]
プレトレーニング言語モデル(PLM)は、様々なタスクでNLPで広く使われている。
近年の研究では、そのようなモデルが示す様々なバイアスを特定し、これらのバイアスを修正する方法を提案している。
本稿では,様々な社会的バイアスの相乗効果を活用し,同時にマルチバイアス・デバイアスを可能にするデバイアスモデルを提案する。
論文 参考訳（メタデータ） (2024-02-12T09:41:00Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳（メタデータ） (2024-02-03T01:40:11Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳（メタデータ） (2023-06-06T23:56:18Z) - Language-Agnostic Bias Detection in Language Models with Bias Probing [22.695872707061078]
プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。
本研究では,PAMにおける社会的バイアスを頑健かつ言語に依存しない方法で評価するための,LABDetと呼ばれるバイアス探索手法を提案する。
歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
論文 参考訳（メタデータ） (2023-05-22T17:58:01Z) - ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文 参考訳（メタデータ） (2022-11-10T08:41:40Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳（メタデータ） (2020-09-16T11:37:10Z) - Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。
正規化項を追加し、TMの出力分布をLMの下で予測可能とする。
2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
論文 参考訳（メタデータ） (2020-04-30T16:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。