論文の概要: FairDistillation: Mitigating Stereotyping in Language Models
- arxiv url: http://arxiv.org/abs/2207.04546v2
- Date: Fri, 16 Sep 2022 09:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 09:48:22.559381
- Title: FairDistillation: Mitigating Stereotyping in Language Models
- Title（参考訳）: fairdistillation:言語モデルにおけるステレオタイプ緩和
- Authors: Pieter Delobelle and Bettina Berendt
- Abstract要約: 大規模な事前訓練された言語モデルは、多くの言語で様々なタスクでうまく使われています。
この使用が絶え間なく増加すると、例えばステレオタイプを再現し強化することによって有害な副作用のリスクも上昇する。
FairDistillation: 知識蒸留に基づく言語横断的手法を用いて, 特定のバイアスを制御しながら, より小さな言語モデルを構築する。
- 参考スコア（独自算出の注目度）: 11.371178703578924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large pre-trained language models are successfully being used in a variety of
tasks, across many languages. With this ever-increasing usage, the risk of
harmful side effects also rises, for example by reproducing and reinforcing
stereotypes. However, detecting and mitigating these harms is difficult to do
in general and becomes computationally expensive when tackling multiple
languages or when considering different biases. To address this, we present
FairDistillation: a cross-lingual method based on knowledge distillation to
construct smaller language models while controlling for specific biases. We
found that our distillation method does not negatively affect the downstream
performance on most tasks and successfully mitigates stereotyping and
representational harms. We demonstrate that FairDistillation can create fairer
language models at a considerably lower cost than alternative approaches.
- Abstract（参考訳）: 大規模な事前訓練された言語モデルは、多くの言語で様々なタスクでうまく使われています。
この使用が絶え間なく増加すると、例えばステレオタイプを再現し強化することによって有害な副作用のリスクも上昇する。
しかし、これらの害の検出と軽減は一般的には困難であり、複数の言語に取り組む場合や異なるバイアスを考える場合、計算コストが高くなる。
そこで本研究では,知識蒸留に基づく言語横断手法であるFairDistillationについて,特定のバイアスを制御しながら,より小さな言語モデルを構築する。
その結果, 蒸留法がほとんどの作業における下流性能に悪影響を与えず, ステレオタイプ化や表現障害の軽減に成功していることがわかった。
FairDistillationは、代替手法よりもかなり低コストで、より公平な言語モデルを作成することができることを示す。
関連論文リスト
- Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - Multilingual large language models leak human stereotypes across language boundaries [25.903732543380528]
モデルを多言語で訓練すると、ある言語で表現されたステレオタイプが、別の言語でモデルの振る舞いに現れる可能性がある。
ステレオタイプ漏洩の測定フレームワークを提案し,その影響を英語,ロシア語,中国語,ヒンディー語で調査する。
GPT-3.5は最もステレオタイプのリークであり,Hindiは最もリークの影響を受けやすい。
論文 参考訳（メタデータ） (2023-12-12T10:24:17Z) - DistilXLSR: A Light Weight Cross-Lingual Speech Representation Model [16.31307448314024]
蒸留言語間音声表現モデルであるDistilXLSRを提案する。
既存の音声の音素をランダムにシャッフルすることにより、言語情報を減らし、英語データのみを用いて言語間モデルを蒸留する。
本手法は,様々な言語/教師モデルに対して一般化可能であることが証明され,英語事前学習モデルの言語間性能を向上させる可能性がある。
論文 参考訳（メタデータ） (2023-06-02T07:03:06Z) - Rarely a problem? Language models exhibit inverse scaling in their
predictions following few-type quantifiers [0.6091702876917281]
言語モデルにおいて特に課題となる「おもちゃのような2人の子供」のような「2つの」型の量化器に焦点をあてる。
人間の2つの神経言語実験から、異なる大きさの22個の自己回帰トランスフォーマーモデルまで、960の英語文刺激を提示する。
論文 参考訳（メタデータ） (2022-12-16T20:01:22Z) - Distilling a Pretrained Language Model to a Multilingual ASR Model [3.4012007729454816]
教師のテキストモデルに埋め込まれた豊富な知識を学生の音声モデルに蒸留する。
我々は,100時間未満の音声データを持つCommonVoiceデータセットの低リソース言語20言語に対して,本手法の優位性を示す。
論文 参考訳（メタデータ） (2022-06-25T12:36:11Z) - Mitigating Gender Bias in Distilled Language Models via Counterfactual
Role Reversal [74.52580517012832]
言語エクセルモデルは、性中立性を持つ男女の知識を含むバイアスを受けることができる。
本稿では,複数の学習ロール設定に基づくジェンダー格差を緩和するための新しいアプローチを提案する。
男女極性言語を減少させるモデルは、公平さや下流の分類を改善しない。
論文 参考訳（メタデータ） (2022-03-23T17:34:35Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳（メタデータ） (2022-03-18T12:26:37Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳（メタデータ） (2020-10-06T20:48:58Z) - Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text
Classification [52.69730591919885]
本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。
多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
論文 参考訳（メタデータ） (2020-07-29T19:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。