論文の概要: Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness

• arxiv url: http://arxiv.org/abs/2406.04146v1
• Date: Thu, 6 Jun 2024 15:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:20:13.589036
• Title: Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness
• Title（参考訳）: 内因性バイアスのレンズを通してのタスク非依存的嫌悪感の理解に向けて
• Authors: Guangliang Liu, Milad Afshari, Xitong Zhang, Zhiyu Xue, Avrajit Ghosh, Bidhan Bashyal, Rongrong Wang, Kristen Johnson,
• Abstract要約: 言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。 タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。 本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.081447621656523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While task-agnostic debiasing provides notable generalizability and reduced reliance on downstream data, its impact on language modeling ability and the risk of relearning social biases from downstream task-specific data remain as the two most significant challenges when debiasing Pretrained Language Models (PLMs). The impact on language modeling ability can be alleviated given a high-quality and long-contextualized debiasing corpus, but there remains a deficiency in understanding the specifics of relearning biases. We empirically ascertain that the effectiveness of task-agnostic debiasing hinges on the quantitative bias level of both the task-specific data used for downstream applications and the debiased model. We empirically show that the lower bound of the bias level of the downstream fine-tuned model can be approximated by the bias level of the debiased model, in most practical cases. To gain more in-depth understanding about how the parameters of PLMs change during fine-tuning due to the forgetting issue of PLMs, we propose a novel framework which can Propagate Socially-fair Debiasing to Downstream Fine-tuning, ProSocialTuning. Our proposed framework can push the fine-tuned model to approach the bias lower bound during downstream fine-tuning, indicating that the ineffectiveness of debiasing can be alleviated by overcoming the forgetting issue through regularizing successfully debiased attention heads based on the PLMs' bias levels from stages of pretraining and debiasing.
• Abstract（参考訳）: タスク非依存のデバイアスは、下流データへの顕著な一般化性と信頼性の低下をもたらすが、言語モデリング能力への影響と、下流タスク固有のデータから社会的バイアスを再学習するリスクは、事前訓練された言語モデル(PLM)をデバイアスする際の2つの重要な課題として残されている。 言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和できるが、リラーニングバイアスの具体性を理解する上ではまだ不十分である。 ダウンストリームアプリケーションに使用されるタスク固有データとデバイアスモデルの両方の量的バイアスレベルに対して、タスク非依存のデバイアス・ヒンジの有効性を実証的に確認する。 実験により,下流の微調整モデルのバイアスレベルの下限は,デバイアスモデルのバイアスレベルによって近似できることを示した。 本研究では, PLM の忘れ問題による微調整中に PLM のパラメータがどう変化するか, より深く理解するために, 下流の微調整 ProSocialTuning に社会的に公平なデバイアスを伝達できる新しい枠組みを提案する。 提案手法は, 上流の微調整中に下限のバイアスにアプローチするために微調整モデルを推し進めることにより, PLMの偏りレベルを事前学習や偏りの段階から順応することで, 脱バイアスの非効率性を回避できることを示唆する。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Large Language Model Bias Mitigation from the Perspective of Knowledge Editing [12.855975783223236]
  本研究では,個々のバイアス知識の微粒化による編集可能な公平性を実現するための,新しい脱バイアス手法であるFairness Stamp(FAST)を提案する。 FASTは、知識保存のための全体的なモデル能力を妨げることなく、最先端のベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-05-15T13:44:13Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning [30.833538367971872]
  微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。 これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。 下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
  論文  参考訳（メタデータ） (2020-10-24T10:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。