論文の概要: Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2307.10522v1
• Date: Thu, 20 Jul 2023 01:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:08:39.619315
• Title: Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
• Title（参考訳）: ジェンダーチューニング: 事前訓練された言語モデルに悪影響を及ぼすための微調整
• Authors: Somayeh Ghanbarzadeh, Yan Huang, Hamid Palangi, Radames Cruz Moreno, and Hamed Khanpour
• Abstract要約: 既存のソリューションでは、デバイアスを行うためのトレーニングプロセスとデータセットが必要です。 ジェンダーチューニングは、Masked Language Modeling(MLM)トレーニング目標を微調整のトレーニングプロセスに統合する。 包括的実験により、ジェンダーチューニングはPLMにおける平均性差スコアにおいて最先端のベースラインを上回っていることが示された。
• 参考スコア（独自算出の注目度）: 9.534831387705312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have revealed that the widely-used Pre-trained Language Models (PLMs) propagate societal biases from the large unmoderated pre-training corpora. Existing solutions require debiasing training processes and datasets for debiasing, which are resource-intensive and costly. Furthermore, these methods hurt the PLMs' performance on downstream tasks. In this study, we propose Gender-tuning, which debiases the PLMs through fine-tuning on downstream tasks' datasets. For this aim, Gender-tuning integrates Masked Language Modeling (MLM) training objectives into fine-tuning's training process. Comprehensive experiments show that Gender-tuning outperforms the state-of-the-art baselines in terms of average gender bias scores in PLMs while improving PLMs' performance on downstream tasks solely using the downstream tasks' dataset. Also, Gender-tuning is a deployable debiasing tool for any PLM that works with original fine-tuning.
• Abstract（参考訳）: 近年の研究では、広く使用されているプレトレーニング言語モデル(plm)が、非モデレーションプレトレーニングコーパスから社会バイアスを広めていることが明らかになっている。 既存のソリューションでは、リソース集約的でコストのかかるデバイアスのためのトレーニングプロセスとデータセットが必要です。 さらに、これらの手法は、下流タスクにおけるPLMのパフォーマンスを損なう。 本研究では,下流タスクのデータセットを微調整することでPLMを脱臭するジェンダーチューニングを提案する。 この目的のために、Gender-tuning は Masked Language Modeling (MLM) トレーニング目標をファインチューニングのトレーニングプロセスに統合する。 包括的実験により、ジェンダーチューニングはplmの平均性バイアススコアの点で最先端のベースラインよりも優れており、下流タスクのデータセットのみを使用して下流タスクにおけるplmのパフォーマンスを改善していることが示された。 また、性別調整は、オリジナルの微調整で動作するplmのデプロイ可能なデバイアスツールである。

関連論文リスト

• Bridging the Fairness Gap: Enhancing Pre-trained Models with LLM-Generated Sentences [8.979854959662664]
  本稿では,コヒーレント,属性バランス,意味的リッチな文を吸収することにより,事前学習言語モデル(PLM)における公平性(フェアジェンダー)を高めることを提案する。 これらの文は、アライメントの問題と負の移動のリスクにより、デバイアスに直接使われることはできない。 因果解析を適用し、因果効果を推定し、不整列文をフィルタリングし、PLMに組み込むための整列文を特定することで、この問題に対処する。
  論文  参考訳（メタデータ） (2025-01-12T12:32:43Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
  画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討 以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。 これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:44Z)
• From 'Showgirls' to 'Performers': Fine-tuning with Gender-inclusive Language for Bias Reduction in LLMs [1.1049608786515839]
  我々は、ジェンダー・インクリシティを促進するために、大規模言語モデル内の言語構造に適応する。 私たちの作品の焦点は英語の「In'show-Girl'」や「man-cave」のような男女排他的な接尾辞である。
  論文  参考訳（メタデータ） (2024-07-05T11:31:30Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• In-Contextual Gender Bias Suppression for Large Language Models [47.246504807946884]
  大きな言語モデル (LLM) は、性バイアスの心配レベルをエンコードしていると報告されている。 手動で設計したテンプレートから構築したプリアンブルを提供することにより,LLMのバイアス発生を防止するバイアス抑制を提案する。 その結果,HellaSwag と COPA による下流タスク性能にバイアス抑制が悪影響があることが判明した。
  論文  参考訳（メタデータ） (2023-09-13T18:39:08Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。