論文の概要: Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation

• arxiv url: http://arxiv.org/abs/2004.03133v2
• Date: Tue, 3 Nov 2020 05:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 22:37:00.784859
• Title: Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation
• Title（参考訳）: 潜在性不連続と反実生成を伴う単語埋め込みにおける性バイアスの中和
• Authors: Seungjae Shin, Kyungwoo Song, JoonHo Jang, Hyemi Kim, Weonyoung Joo, Il-Chul Moon
• Abstract要約: 適応的な勾配反転層を有するシアム自動エンコーダ構造を導入する。 我々の構造は,単語の意味潜時情報と性別潜時情報を,非結合潜時次元に分離することを可能にする。
• 参考スコア（独自算出の注目度）: 25.060917870666803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research demonstrates that word embeddings, trained on the human-generated corpus, have strong gender biases in embedding spaces, and these biases can result in the discriminative results from the various downstream tasks. Whereas the previous methods project word embeddings into a linear subspace for debiasing, we introduce a \textit{Latent Disentanglement} method with a siamese auto-encoder structure with an adapted gradient reversal layer. Our structure enables the separation of the semantic latent information and gender latent information of given word into the disjoint latent dimensions. Afterwards, we introduce a \textit{Counterfactual Generation} to convert the gender information of words, so the original and the modified embeddings can produce a gender-neutralized word embedding after geometric alignment regularization, without loss of semantic information. From the various quantitative and qualitative debiasing experiments, our method shows to be better than existing debiasing methods in debiasing word embeddings. In addition, Our method shows the ability to preserve semantic information during debiasing by minimizing the semantic information losses for extrinsic NLP downstream tasks.
• Abstract（参考訳）: 近年の研究では、人為的なコーパスで訓練された単語埋め込みは、埋め込み空間において強い性別バイアスを持ち、これらのバイアスは下流の様々なタスクから差別的な結果をもたらすことが示されている。 従来の手法では,デバイアス化のための線形部分空間に単語の埋め込みを投影するのに対して,適応的な勾配反転層を持つシアム自動エンコーダ構造を持つ \textit{Latent Disentanglement} 法を導入する。 我々の構造は,単語の意味潜時情報と性別潜時情報を,非結合潜時次元に分離することを可能にする。 その後、単語の性別情報を変換するために「textit{Counterfactual Generation}」を導入し、原語と修正された埋め込みは、意味情報を失うことなく、幾何学的アライメント正則化後のジェンダーニュートラル化単語を埋め込むことができる。 種々の量的および定性的脱バイアス実験から, 単語埋め込みの脱バイアス法よりも優れた解バイアス法が得られた。 さらに,本手法では,NLP下流タスクにおける意味情報損失を最小限に抑えることで,デバイアス中の意味情報を保存する能力を示す。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving [3.114945725130788]
  本稿では、因果推論の枠組みを利用して、ジェンダーバイアスを効果的に除去する手法を提案する。 総括実験により,提案手法は男女の偏りを解消する作業において,最先端の成果を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-09T19:57:22Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings [16.49645205111334]
  非テクスチュアルな単語埋め込みモデルは、トレーニングコーパスから性別、人種、宗教の人間のようなステレオタイプバイアスを継承することが示されている。 本稿では,単語埋め込みにおける性別バイアスの分析・緩和のためのライブラリであるFair Embedding Engine (FEE)について述べる。
  論文  参考訳（メタデータ） (2020-10-25T17:31:12Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Investigating Gender Bias in BERT [22.066477991442003]
  我々は、感情や感情の強さの予測に関連する5つの下流タスクにおいて、それが引き起こすジェンダーバイアスを分析した。 本稿では,各BERT層に対する1つの主方向という,きめ細かい性別方向を求めるアルゴリズムを提案する。 実験により, 下流タスクにおけるBERT誘発バイアスの低減に成功していることがわかった。
  論文  参考訳（メタデータ） (2020-09-10T17:38:32Z)
• Nurse is Closer to Woman than Surgeon? Mitigating Gender-Biased Proximities in Word Embeddings [37.65897382453336]
  単語ベクターの空間配置に隠された性別バイアスを緩和することは,既存の単語埋め込みの処理方法では不可能である。 我々は,単語ベクトルに存在するバイアスを排除し,隣接するベクトルの空間分布を変化させる,新しいジェンダーデバイアス手法であるRAN-Debiasを提案する。 我々はまた、新しいバイアス評価指標、ジェンダーベースIllicit Proximity Estimate (GIPE)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T20:50:43Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。