論文の概要: From Prejudice to Parity: A New Approach to Debiasing Large Language Model Word Embeddings

• arxiv url: http://arxiv.org/abs/2402.11512v4
• Date: Fri, 29 Nov 2024 21:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:51.883833
• Title: From Prejudice to Parity: A New Approach to Debiasing Large Language Model Word Embeddings
• Title（参考訳）: 偏見からパリティへ:大規模言語モデルの単語埋め込みを嫌う新しいアプローチ
• Authors: Aishik Rakshit, Smriti Singh, Shuvam Keshari, Arijit Ghosh Chowdhury, Vinija Jain, Aman Chadha,
• Abstract要約: DeepSoftDebiasは、ニューラルネットワークを使って'ソフトデバイアス'を実行するアルゴリズム 我々は、このアルゴリズムを様々なSOTAデータセット、精度メトリクス、難解なNLPタスクで徹底的に評価する。 DeepSoftDebiasは、性別、人種、宗教の偏見を減らし、最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 2.9324535682810886
• License:
• Abstract: Embeddings play a pivotal role in the efficacy of Large Language Models. They are the bedrock on which these models grasp contextual relationships and foster a more nuanced understanding of language and consequently perform remarkably on a plethora of complex tasks that require a fundamental understanding of human language. Given that these embeddings themselves often reflect or exhibit bias, it stands to reason that these models may also inadvertently learn this bias. In this work, we build on the seminal previous work and propose DeepSoftDebias, an algorithm that uses a neural network to perform 'soft debiasing'. We exhaustively evaluate this algorithm across a variety of SOTA datasets, accuracy metrics, and challenging NLP tasks. We find that DeepSoftDebias outperforms the current state-of-the-art methods at reducing bias across gender, race, and religion.
• Abstract（参考訳）: 埋め込みは、大規模言語モデルの有効性において重要な役割を果たす。 これらは、これらのモデルが文脈的関係を把握し、よりニュアンスな言語理解を育み、その結果、人間の言語に対する根本的な理解を必要とする複雑なタスクの多さで顕著に機能する基盤岩である。 これらの埋め込み自体がしばしばバイアスを反映または表象していることを考えると、これらのモデルが必然的にこのバイアスを学習する可能性があることは理にかなっている。 本研究では,ニューラルネットワークを用いて'ソフトデバイアス'を実行するアルゴリズムであるDeepSoftDebiasを提案する。 我々はこのアルゴリズムを様々なSOTAデータセット、精度メトリクス、難解なNLPタスクで徹底的に評価する。 DeepSoftDebiasは、性別、人種、宗教の偏見を減らし、最先端の手法よりも優れています。

関連論文リスト

• On Debiasing Text Embeddings Through Context Injection [0.0]
  我々は,そのバイアスを定量化し,文脈注入にどう反応するかを定量化することにより,19種類の埋め込みモデルのレビューを行う。 より高いパフォーマンスモデルはバイアスを捉えやすいが、コンテキストを組み込むのが優れていることも示している。 検索タスクでは,埋め込みのバイアスが望ましくない結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-14T18:11:53Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
  本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
  論文  参考訳（メタデータ） (2022-04-21T18:51:19Z)
• A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
  我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。 我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
  論文  参考訳（メタデータ） (2022-03-06T18:12:30Z)
• Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP [10.936043362876651]
  問題のあるテキストを生成するモデルの確率を減少させる復号アルゴリズムを提案する。 このアプローチは必ずしもバイアス付きテキストを生成する言語モデルの問題を取り除くものではないが、この方向への重要なステップであると考えている。
  論文  参考訳（メタデータ） (2021-02-28T11:07:37Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。