論文の概要: Debiasing Sentence Embedders through Contrastive Word Pairs

• arxiv url: http://arxiv.org/abs/2403.18555v1
• Date: Wed, 27 Mar 2024 13:34:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 16:48:33.202449
• Title: Debiasing Sentence Embedders through Contrastive Word Pairs
• Title（参考訳）: コントラスト語対による文埋め込みの嫌悪
• Authors: Philip Kenneweg, Sarah Schröder, Alexander Schulz, Barbara Hammer,
• Abstract要約: NLP解に対する線形および非線形バイアス情報を除去する手法を検討する。 従来のバイアス指標と非線形情報を考慮に入れたバイアス指標の共通偏り評価手法との比較を行った。
• 参考スコア（独自算出の注目度）: 46.9044612783003
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Over the last years, various sentence embedders have been an integral part in the success of current machine learning approaches to Natural Language Processing (NLP). Unfortunately, multiple sources have shown that the bias, inherent in the datasets upon which these embedding methods are trained, is learned by them. A variety of different approaches to remove biases in embeddings exists in the literature. Most of these approaches are applicable to word embeddings and in fewer cases to sentence embeddings. It is problematic that most debiasing approaches are directly transferred from word embeddings, therefore these approaches fail to take into account the nonlinear nature of sentence embedders and the embeddings they produce. It has been shown in literature that bias information is still present if sentence embeddings are debiased using such methods. In this contribution, we explore an approach to remove linear and nonlinear bias information for NLP solutions, without impacting downstream performance. We compare our approach to common debiasing methods on classical bias metrics and on bias metrics which take nonlinear information into account.
• Abstract（参考訳）: 近年,自然言語処理(NLP)への機械学習アプローチの成功において,様々な文埋め込みが重要な役割を担ってきた。 残念なことに、複数の情報源は、これらの埋め込みメソッドが訓練されたデータセットに固有のバイアスが彼らによって学習されることを示した。 埋め込みにおけるバイアスを取り除くための様々なアプローチが文献に存在している。 これらのアプローチのほとんどは、単語の埋め込みに適用でき、少ないケースでは文の埋め込みにも適用できる。 したがって、これらの手法は文埋め込みの非線形性やそれらが生み出す埋め込みを考慮に入れない。 このような方法で文の埋め込みをデバイアス化した場合、バイアス情報は依然として存在することが文献で示されている。 本研究は,NLPソリューションの非線形および非線形バイアス情報を下流性能に影響を与えることなく除去する手法を提案する。 従来のバイアス指標と非線形情報を考慮に入れたバイアス指標の共通偏り評価手法との比較を行った。

関連論文リスト

• Mitigating Gender Bias in Contextual Word Embeddings [1.208453901299241]
  本稿では,コンテキスト埋め込みにおける性別バイアスを大幅に軽減する,リップスティック(マスケ・ランゲージ・モデリング)の新たな目的関数を提案する。 また, 静的な埋め込みを嫌悪する新しい手法を提案し, 広範囲な解析と実験による実証実験を行った。
  論文  参考訳（メタデータ） (2024-11-18T21:36:44Z)
• Language-guided Detection and Mitigation of Unknown Dataset Bias [23.299264313976213]
  本稿では,キャプションの部分的発生に基づく事前知識のないキーワードとして潜在的なバイアスを識別する枠組みを提案する。 我々のフレームワークは、事前知識のない既存のメソッドよりも優れているだけでなく、事前知識を前提としたメソッドにさえ匹敵する。
  論文  参考訳（メタデータ） (2024-06-05T03:11:33Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• A Bayesian approach to uncertainty in word embedding bias estimation [0.0]
  WEAT や MAC のような複数の測度は、単語の埋め込みに存在するバイアスの大きさを1つの数字のメートル法で定量化しようとする。 このような手法を用いて、意図したバイアスを欠いたnullモデルによってデータが生成される場合でも、同様の結果が容易に得られることを示す。 単語埋め込みにおけるバイアスのより不確実性に敏感な検査を可能にする階層型ベイズモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-15T11:48:50Z)
• Marked Attribute Bias in Natural Language Inference [0.0]
  下流NLPアプリケーションにおけるジェンダーバイアスの新しい観察: 自然言語推論における有意な属性バイアスについて述べる。 下流のアプリケーションのバイアスは、トレーニングデータ、単語の埋め込み、あるいは使用中のモデルによって増幅される。 ここでは, 単語埋め込みの内在的性質が, この顕著な属性効果にどのように寄与するかを理解する。
  論文  参考訳（メタデータ） (2021-09-28T20:45:02Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings [47.721931801603105]
  我々は,概念全体を取り除く代わりに,概念間のバイアス付き関連を解消することに焦点を当てたバイアス緩和手法であるOSCaRを提案する。 性別バイアスに関する実験により、OSCaRは、セマンティック情報が埋め込みに保持され、バイアスも効果的に緩和されるようなバランスのとれたアプローチであることが示されている。
  論文  参考訳（メタデータ） (2020-06-30T18:18:13Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。