論文の概要: Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2307.10522v1
• Date: Thu, 20 Jul 2023 01:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:08:39.619315
• Title: Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
• Title（参考訳）: ジェンダーチューニング: 事前訓練された言語モデルに悪影響を及ぼすための微調整
• Authors: Somayeh Ghanbarzadeh, Yan Huang, Hamid Palangi, Radames Cruz Moreno, and Hamed Khanpour
• Abstract要約: 既存のソリューションでは、デバイアスを行うためのトレーニングプロセスとデータセットが必要です。 ジェンダーチューニングは、Masked Language Modeling(MLM)トレーニング目標を微調整のトレーニングプロセスに統合する。 包括的実験により、ジェンダーチューニングはPLMにおける平均性差スコアにおいて最先端のベースラインを上回っていることが示された。
• 参考スコア（独自算出の注目度）: 9.534831387705312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have revealed that the widely-used Pre-trained Language Models (PLMs) propagate societal biases from the large unmoderated pre-training corpora. Existing solutions require debiasing training processes and datasets for debiasing, which are resource-intensive and costly. Furthermore, these methods hurt the PLMs' performance on downstream tasks. In this study, we propose Gender-tuning, which debiases the PLMs through fine-tuning on downstream tasks' datasets. For this aim, Gender-tuning integrates Masked Language Modeling (MLM) training objectives into fine-tuning's training process. Comprehensive experiments show that Gender-tuning outperforms the state-of-the-art baselines in terms of average gender bias scores in PLMs while improving PLMs' performance on downstream tasks solely using the downstream tasks' dataset. Also, Gender-tuning is a deployable debiasing tool for any PLM that works with original fine-tuning.
• Abstract（参考訳）: 近年の研究では、広く使用されているプレトレーニング言語モデル(plm)が、非モデレーションプレトレーニングコーパスから社会バイアスを広めていることが明らかになっている。 既存のソリューションでは、リソース集約的でコストのかかるデバイアスのためのトレーニングプロセスとデータセットが必要です。 さらに、これらの手法は、下流タスクにおけるPLMのパフォーマンスを損なう。 本研究では,下流タスクのデータセットを微調整することでPLMを脱臭するジェンダーチューニングを提案する。 この目的のために、Gender-tuning は Masked Language Modeling (MLM) トレーニング目標をファインチューニングのトレーニングプロセスに統合する。 包括的実験により、ジェンダーチューニングはplmの平均性バイアススコアの点で最先端のベースラインよりも優れており、下流タスクのデータセットのみを使用して下流タスクにおけるplmのパフォーマンスを改善していることが示された。 また、性別調整は、オリジナルの微調整で動作するplmのデプロイ可能なデバイアスツールである。

関連論文リスト

• BiasDPO: Mitigating Bias in Language Models through Direct Preference Optimization [0.0]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な役割を担っているが、バイアスの持続可能性には重大な懸念がある。 本稿では、英語テキストにおけるジェンダー、人種、宗教的偏見を緩和するために、DPO(Direct Preference Optimization)を用いた新しい枠組みを提案する。 バイアスのある完了よりもバイアスの少ない損失関数を開発することで、我々のアプローチは敬意と非差別的な言語を好む。
  論文  参考訳（メタデータ） (2024-07-18T22:32:20Z)
• From 'Showgirls' to 'Performers': Fine-tuning with Gender-inclusive Language for Bias Reduction in LLMs [1.1049608786515839]
  我々は、ジェンダー・インクリシティを促進するために、大規模言語モデル内の言語構造に適応する。 私たちの作品の焦点は英語の「In'show-Girl'」や「man-cave」のような男女排他的な接尾辞である。
  論文  参考訳（メタデータ） (2024-07-05T11:31:30Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• In-Contextual Gender Bias Suppression for Large Language Models [47.246504807946884]
  大きな言語モデル (LLM) は、性バイアスの心配レベルをエンコードしていると報告されている。 手動で設計したテンプレートから構築したプリアンブルを提供することにより,LLMのバイアス発生を防止するバイアス抑制を提案する。 その結果,HellaSwag と COPA による下流タスク性能にバイアス抑制が悪影響があることが判明した。
  論文  参考訳（メタデータ） (2023-09-13T18:39:08Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
  大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。 生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。 次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
  我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。 このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。 我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-26T18:36:58Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。