論文の概要: Unlabeled Debiasing in Downstream Tasks via Class-wise Low Variance Regularization

• arxiv url: http://arxiv.org/abs/2409.19541v2
• Date: Tue, 01 Oct 2024 08:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:34:13.058389
• Title: Unlabeled Debiasing in Downstream Tasks via Class-wise Low Variance Regularization
• Title（参考訳）: クラスワイド低分散規則化による下流タスクのラベルなしデバイアス化
• Authors: Shahed Masoudian, Markus Frohman, Navid Rekabsaz, Markus Schedl,
• Abstract要約: 本稿では,組込みのクラスワイドな分散に基づく新しいデバイアス正規化手法を提案する。 提案手法は属性ラベルを必要とせず,属性をターゲットとせず,既存のデバイアス手法の欠点に対処する。
• 参考スコア（独自算出の注目度）: 13.773597081543185
• License:
• Abstract: Language models frequently inherit societal biases from their training data. Numerous techniques have been proposed to mitigate these biases during both the pre-training and fine-tuning stages. However, fine-tuning a pre-trained debiased language model on a downstream task can reintroduce biases into the model. Additionally, existing debiasing methods for downstream tasks either (i) require labels of protected attributes (e.g., age, race, or political views) that are often not available or (ii) rely on indicators of bias, which restricts their applicability to gender debiasing since they rely on gender-specific words. To address this, we introduce a novel debiasing regularization technique based on the class-wise variance of embeddings. Crucially, our method does not require attribute labels and targets any attribute, thus addressing the shortcomings of existing debiasing methods. Our experiments on encoder language models and three datasets demonstrate that our method outperforms existing strong debiasing baselines that rely on target attribute labels while maintaining performance on the target task.
• Abstract（参考訳）: 言語モデルは、しばしばトレーニングデータから社会的バイアスを継承する。 事前学習と微調整の両方の段階で、これらのバイアスを軽減するために多くの技術が提案されている。 しかし、下流タスクで事前訓練されたデバイアス付き言語モデルを微調整することで、モデルにバイアスを再導入することができる。 さらに、ダウンストリームタスクのための既存のデバイアス手法も。 (i)しばしば利用できない保護属性(例えば、年齢、人種、政治的見解)のラベルが必要。 (ii) 偏見の指標に依存しており, 性別特化語に依存しているため, 性嫌悪への適応性を制限している。 そこで本研究では, 組込みのクラスワイドな分散に基づく, 新規なデバイアス正規化手法を提案する。 重要なことは、我々の手法は属性ラベルを必要とせず、いかなる属性もターゲットとしないため、既存のデバイアス手法の欠点に対処する。 エンコーダ言語モデルと3つのデータセットに関する実験により,本手法は,目標タスクの性能を維持しつつ,目標属性ラベルに依存した既存の強力なデバイアスベースラインよりも優れていることを示した。

関連論文リスト

• Language-guided Detection and Mitigation of Unknown Dataset Bias [23.299264313976213]
  本稿では,キャプションの部分的発生に基づく事前知識のないキーワードとして潜在的なバイアスを識別する枠組みを提案する。 我々のフレームワークは、事前知識のない既存のメソッドよりも優れているだけでなく、事前知識を前提としたメソッドにさえ匹敵する。
  論文  参考訳（メタデータ） (2024-06-05T03:11:33Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• GeT: Generative Target Structure Debiasing for Domain Adaptation [67.17025068995835]
  ドメイン適応(DA)は、ドメインシフトの下で、完全にラベル付けされたソースからほとんどラベル付けされていない、または完全にラベル付けされていないターゲットに知識を転送することを目的としています。 近年,擬似ラベリングを利用した半教師付き学習(SSL)技術がDAでますます普及している。 本稿では,高品質な擬似ラベルを用いた非バイアス対象埋め込み分布を学習するGeTを提案する。
  論文  参考訳（メタデータ） (2023-08-20T08:52:43Z)
• Gradient Based Activations for Accurate Bias-Free Learning [22.264226961225003]
  このバイアス・精度のトレードオフを改善するために、偏微分器が実際に利用できることを示す。 具体的には、判別器の勾配を用いた特徴マスキング手法を用いる。 この単純なアプローチはバイアスを低減し、精度を大幅に向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-17T00:30:40Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。