論文の概要: Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving

• arxiv url: http://arxiv.org/abs/2112.05194v1
• Date: Thu, 9 Dec 2021 19:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 14:44:37.701082
• Title: Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
• Title（参考訳）: 因果推論による単語埋め込み:ジェンダーバイアス低減と意味情報保存
• Authors: Lei Ding, Dengdeng Yu, Jinhan Xie, Wenxing Guo, Shenggang Hu, Meichen Liu, Linglong Kong, Hongsheng Dai, Yanchun Bao, Bei Jiang
• Abstract要約: 本稿では、因果推論の枠組みを利用して、ジェンダーバイアスを効果的に除去する手法を提案する。 総括実験により,提案手法は男女の偏りを解消する作業において,最先端の成果を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 3.114945725130788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With widening deployments of natural language processing (NLP) in daily life, inherited social biases from NLP models have become more severe and problematic. Previous studies have shown that word embeddings trained on human-generated corpora have strong gender biases that can produce discriminative results in downstream tasks. Previous debiasing methods focus mainly on modeling bias and only implicitly consider semantic information while completely overlooking the complex underlying causal structure among bias and semantic components. To address these issues, we propose a novel methodology that leverages a causal inference framework to effectively remove gender bias. The proposed method allows us to construct and analyze the complex causal mechanisms facilitating gender information flow while retaining oracle semantic information within word embeddings. Our comprehensive experiments show that the proposed method achieves state-of-the-art results in gender-debiasing tasks. In addition, our methods yield better performance in word similarity evaluation and various extrinsic downstream NLP tasks.
• Abstract（参考訳）: 日常生活における自然言語処理(NLP)の展開の拡大に伴い、NLPモデルから受け継いだ社会的偏見はより深刻で問題になっている。 以前の研究では、人間の生成したコーパスで訓練された単語埋め込みは、下流のタスクで差別的な結果をもたらす強いジェンダーバイアスを持っていることが示されている。 従来のデバイアス手法は主にバイアスのモデル化と、バイアスとセマンティクスコンポーネント間の複雑な因果構造を完全に見落としながら、暗黙的に意味情報のみを考察することに焦点を当てている。 これらの問題に対処するために,因果推論フレームワークを活用し,ジェンダーバイアスを効果的に除去する手法を提案する。 提案手法は,単語の埋め込み内にオラクルの意味情報を保持しながら,ジェンダー情報の流れを容易にする複雑な因果メカニズムの構築と解析を可能にする。 包括的実験により,提案手法は男女識別課題において最先端の結果が得られることを示した。 また,提案手法は,単語類似度評価や,下流のnlpタスクの処理性能が向上する。

関連論文リスト

• Locating and Mitigating Gender Bias in Large Language Models [40.78150878350479]
  大規模言語モデル(LLM)は、人間の好みを含む事実や人間の認知を学ぶために、広範囲なコーパスで事前訓練されている。 このプロセスは、社会においてバイアスや一般的なステレオタイプを取得するこれらのモデルに必然的に導かれる可能性がある。 本稿では,職業代名詞の性別バイアスを軽減する知識編集手法LSDMを提案する。
  論文  参考訳（メタデータ） (2024-03-21T13:57:43Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Interpretable bias mitigation for textual data: Reducing gender bias in patient notes while maintaining classification performance [0.11545092788508224]
  2つの臨床ノートデータセットから性別付き言語を識別・除去する。 データ拡張による低～中レベルのバイアス除去のための健康状態分類タスクの最小劣化を示す。 本研究は,自然言語処理パイプラインにおけるバイアスを識別・低減するために,データ拡張を用いた解釈可能なアプローチを概説する。
  論文  参考訳（メタデータ） (2021-03-10T03:09:30Z)
• Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings [16.49645205111334]
  非テクスチュアルな単語埋め込みモデルは、トレーニングコーパスから性別、人種、宗教の人間のようなステレオタイプバイアスを継承することが示されている。 本稿では,単語埋め込みにおける性別バイアスの分析・緩和のためのライブラリであるFair Embedding Engine (FEE)について述べる。
  論文  参考訳（メタデータ） (2020-10-25T17:31:12Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)
• Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation [25.060917870666803]
  適応的な勾配反転層を有するシアム自動エンコーダ構造を導入する。 我々の構造は,単語の意味潜時情報と性別潜時情報を,非結合潜時次元に分離することを可能にする。
  論文  参考訳（メタデータ） (2020-04-07T05:16:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。