論文の概要: The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing
- arxiv url: http://arxiv.org/abs/2401.08511v1
- Date: Tue, 16 Jan 2024 17:15:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 19:04:16.439238
- Title: The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing
- Title(参考訳): バイアス評価と偏り評価におけるプレトレインと下流設定のギャップ
- Authors: Masahiro Kaneko, Danushka Bollegala, Timothy Baldwin
- Abstract要約: In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。
ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
- 参考スコア(独自算出の注目度): 74.7319697510621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The output tendencies of Pre-trained Language Models (PLM) vary markedly
before and after Fine-Tuning (FT) due to the updates to the model parameters.
These divergences in output tendencies result in a gap in the social biases of
PLMs. For example, there exits a low correlation between intrinsic bias scores
of a PLM and its extrinsic bias scores under FT-based debiasing methods.
Additionally, applying FT-based debiasing methods to a PLM leads to a decline
in performance in downstream tasks. On the other hand, PLMs trained on large
datasets can learn without parameter updates via In-Context Learning (ICL)
using prompts. ICL induces smaller changes to PLMs compared to FT-based
debiasing methods. Therefore, we hypothesize that the gap observed in
pre-trained and FT models does not hold true for debiasing methods that use
ICL. In this study, we demonstrate that ICL-based debiasing methods show a
higher correlation between intrinsic and extrinsic bias scores compared to
FT-based methods. Moreover, the performance degradation due to debiasing is
also lower in the ICL case compared to that in the FT case.
- Abstract(参考訳): プレトレーニング言語モデル(PLM)の出力傾向は、モデルパラメータの更新により、FT(Fin-Tuning)の前後で顕著に変化する。
これらの出力傾向のばらつきは、PLMの社会的バイアスのギャップをもたらす。
例えば、FT-based debiasing法では、PLMの内在バイアススコアと外在バイアススコアとの相関が低い。
さらに、FTベースのデバイアス法をPLMに適用すると、下流タスクのパフォーマンスが低下する。
一方、大規模なデータセットでトレーニングされたPLMは、プロンプトを使用してICL(In-Context Learning)を介してパラメータ更新なしで学習することができる。
ICLはFT-based debiasing法に比べてPLMの変化が小さい。
そこで本研究では,ICLを用いたデバイアス法において,事前学習モデルとFTモデルで観測されるギャップが正しくないことを仮定する。
本研究では,ICLに基づくデバイアス法が,FT法と比較して内在バイアススコアと外因バイアススコアの相関性が高いことを示した。
また, ICL症例では, FT例に比べ, 脱バイアスによる性能劣化も低い傾向を示した。
関連論文リスト
- Causal Prompting: Debiasing Large Language Model Prompting based on
Front-Door Adjustment [24.932188867289533]
大規模言語モデルのバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。
実験結果から,提案手法は3つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-05T07:47:34Z) - ChatGPT Based Data Augmentation for Improved Parameter-Efficient
Debiasing of LLMs [69.27030571729392]
大型言語モデル(LLM)は有害な社会的バイアスを示す。
そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T01:28:48Z) - Prompt-Based Bias Calibration for Better Zero/Few-Shot Learning of
Language Models [7.967925911756304]
事前学習された言語モデルに符号化された固有バイアスを校正するヌルインプットプロンプト法を提案する。
本手法は,テキスト内学習とプロンプトベースファインタニングの両方において,LMのゼロ/ファインショット学習性能を大幅に向上させる。
論文 参考訳(メタデータ) (2024-02-15T22:54:24Z) - Marginal Debiased Network for Fair Visual Recognition [65.64172835624206]
本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。
より具体的には、マージンペナルティという概念をフェアネス問題に導入することにより、マージンのソフトマックスロス(MSL)を設計する。
我々のMDNは、表現不足のサンプルに対して顕著な性能を達成でき、従来の手法と比較して優れたデバイアス結果を得ることができる。
論文 参考訳(メタデータ) (2024-01-04T08:57:09Z) - Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A
Two-Stage Approach to Mitigate Social Biases [13.837927115198308]
本稿では,コントラスト学習と連続的プロンプト拡張を用いた逆トレーニングによる2段階脱バイアスモデルを提案する。
我々のアプローチは、トレーニングプロセスに困難を加えることで、より強固なデバイアス性能を達成するためのモデルを導出します。
論文 参考訳(メタデータ) (2023-07-04T09:35:03Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文 参考訳(メタデータ) (2022-11-10T08:41:40Z) - Debiasing Neural Retrieval via In-batch Balancing Regularization [25.941718123899356]
我々は,nPRF上でのT-統計を有効活用し,公平性を向上させるために,識別可能なテキストトナー付きペアワイドランキングフェアネス(nPRF)を開発した。
nPRF を用いた手法は,ベースラインに比べてランク付け性能の低下が最小限に抑えられ,バイアスが大幅に低減される。
論文 参考訳(メタデータ) (2022-05-18T22:57:15Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。