論文の概要: Sustainable Modular Debiasing of Language Models
- arxiv url: http://arxiv.org/abs/2109.03646v1
- Date: Wed, 8 Sep 2021 13:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-09 13:50:39.223029
- Title: Sustainable Modular Debiasing of Language Models
- Title(参考訳): 言語モデルの持続的モジュラーデバイアス
- Authors: Anne Lauscher, Tobias L\"uken, Goran Glava\v{s}
- Abstract要約: 事前訓練された言語モデルからステレオタイプバイアスを取り除くために、デバイアス技術が導入されている。
既存の debiasing メソッドは PLM のパラメータを直接変更する。
本稿では、ADELEと呼ばれる専用デバイアスアダプタに基づく、より持続可能なモジュラーデバイアス手法を提案する。
- 参考スコア(独自算出の注目度): 2.7178968279054936
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Unfair stereotypical biases (e.g., gender, racial, or religious biases)
encoded in modern pretrained language models (PLMs) have negative ethical
implications for widespread adoption of state-of-the-art language technology.
To remedy for this, a wide range of debiasing techniques have recently been
introduced to remove such stereotypical biases from PLMs. Existing debiasing
methods, however, directly modify all of the PLMs parameters, which -- besides
being computationally expensive -- comes with the inherent risk of
(catastrophic) forgetting of useful language knowledge acquired in pretraining.
In this work, we propose a more sustainable modular debiasing approach based on
dedicated debiasing adapters, dubbed ADELE. Concretely, we (1) inject adapter
modules into the original PLM layers and (2) update only the adapters (i.e., we
keep the original PLM parameters frozen) via language modeling training on a
counterfactually augmented corpus. We showcase ADELE, in gender debiasing of
BERT: our extensive evaluation, encompassing three intrinsic and two extrinsic
bias measures, renders ADELE, very effective in bias mitigation. We further
show that -- due to its modular nature -- ADELE, coupled with task adapters,
retains fairness even after large-scale downstream training. Finally, by means
of multilingual BERT, we successfully transfer ADELE, to six target languages.
- Abstract(参考訳): 現代の事前訓練言語モデル(PLM)で符号化された不公平なステレオタイプバイアス(性別、人種、宗教的偏見)は、最先端の言語技術の普及に悪影響を及ぼす。
これを解決するために、最近、PLMからこのようなステレオタイプバイアスを取り除くために幅広い脱バイアス技術が導入されている。
しかし、既存のdebiasingメソッドは、計算量的に高価であるだけでなく、事前学習で得られる有用な言語知識を(破滅的に)忘れてしまうという固有のリスクを伴って、plmsパラメーターを直接修正する。
本稿では,adeleと呼ばれる専用デバイアスアダプタに基づく,より持続可能なモジュールデバイアス手法を提案する。
具体的には,(1)オリジナルのplm層にアダプタモジュールを注入し,(2)アダプタのみを更新(つまり,オリジナルのplmパラメータを凍結しておく)し,対極的に拡張されたコーパス上で言語モデリングトレーニングを行う。
adele, in gender debiasing of bert: our extensive evaluation では、3つの内在的バイアス尺度と2つの外在的バイアス尺度を包含し、adeleを非常に効果的にバイアス緩和に役立てます。
さらに、--そのモジュール性のため、ADELEはタスクアダプタと組み合わせて、大規模な下流トレーニングの後にも公平さを維持します。
最後に、多言語BERTを用いてADELEを6つのターゲット言語に転送することに成功した。
関連論文リスト
- MAFIA: Multi-Adapter Fused Inclusive LanguAge Models [13.793816113015513]
プレトレーニング言語モデル(PLM)は、様々なタスクでNLPで広く使われている。
近年の研究では、そのようなモデルが示す様々なバイアスを特定し、これらのバイアスを修正する方法を提案している。
本稿では,様々な社会的バイアスの相乗効果を活用し,同時にマルチバイアス・デバイアスを可能にするデバイアスモデルを提案する。
論文 参考訳(メタデータ) (2024-02-12T09:41:00Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳(メタデータ) (2023-06-06T23:56:18Z) - Language-Agnostic Bias Detection in Language Models with Bias Probing [22.695872707061078]
プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。
本研究では,PAMにおける社会的バイアスを頑健かつ言語に依存しない方法で評価するための,LABDetと呼ばれるバイアス探索手法を提案する。
歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
論文 参考訳(メタデータ) (2023-05-22T17:58:01Z) - Conceptor-Aided Debiasing of Large Language Models [1.0435741631709405]
事前訓練された大規模言語モデル(LLM)は、トレーニングコーパスの社会的バイアスを反映している。
我々は,BERT や GPT などの LLM のバイアス部分空間を同定し,除去するためのソフトプロジェクション手法である概念を用いた。
提案手法は,(1)NOT操作による後処理によるバイアス部分空間の投影,(2)新しいアーキテクチャ,CI-BERT (Conceptor-intervened BERT) を提案する。
論文 参考訳(メタデータ) (2022-11-20T21:24:48Z) - ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文 参考訳(メタデータ) (2022-11-10T08:41:40Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - MergeDistill: Merging Pre-trained Language Models using Distillation [5.396915402673246]
我々は、最小限の依存関係で彼らの資産を最大限に活用できる方法で、事前訓練されたLMをマージするフレームワークであるMergeDistillを提案する。
我々は,既存の教師LMと,何桁ものデータと固定モデルキャパシティで訓練された教師LMとの競争力や性能を向上する訓練学生LMを活用して,実践的にフレームワークの適用性を実証する。
論文 参考訳(メタデータ) (2021-06-05T08:22:05Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳(メタデータ) (2020-09-16T11:37:10Z) - Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。
正規化項を追加し、TMの出力分布をLMの下で予測可能とする。
2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
論文 参考訳(メタデータ) (2020-04-30T16:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。