論文の概要: Towards Debiasing Sentence Representations

• arxiv url: http://arxiv.org/abs/2007.08100v1
• Date: Thu, 16 Jul 2020 04:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 21:54:50.587683
• Title: Towards Debiasing Sentence Representations
• Title（参考訳）: 文表現の曖昧化に向けて
• Authors: Paul Pu Liang, Irene Mengze Li, Emily Zheng, Yao Chong Lim, Ruslan Salakhutdinov, Louis-Philippe Morency
• Abstract要約: Sent-Debiasはバイアスを取り除くのに有効であり、同時に文レベルの下流タスクのパフォーマンスを保っていることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。
• 参考スコア（独自算出の注目度）: 109.70181221796469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As natural language processing methods are increasingly deployed in real-world scenarios such as healthcare, legal systems, and social science, it becomes necessary to recognize the role they potentially play in shaping social biases and stereotypes. Previous work has revealed the presence of social biases in widely used word embeddings involving gender, race, religion, and other social constructs. While some methods were proposed to debias these word-level embeddings, there is a need to perform debiasing at the sentence-level given the recent shift towards new contextualized sentence representations such as ELMo and BERT. In this paper, we investigate the presence of social biases in sentence-level representations and propose a new method, Sent-Debias, to reduce these biases. We show that Sent-Debias is effective in removing biases, and at the same time, preserves performance on sentence-level downstream tasks such as sentiment analysis, linguistic acceptability, and natural language understanding. We hope that our work will inspire future research on characterizing and removing social biases from widely adopted sentence representations for fairer NLP.
• Abstract（参考訳）: 自然言語処理手法は、医療、法体系、社会科学といった現実のシナリオにますます導入されているため、社会的バイアスやステレオタイプを形成する上で、彼らが果たす役割を認識する必要がある。 以前の研究では、性別、人種、宗教、その他の社会的構成を含む広く使われる単語埋め込みにおける社会的バイアスの存在が明らかになった。 単語レベルの埋め込みを嫌悪する手法はいくつか提案されているが、ELMoやBERTといった新しい文脈化文表現へのシフトを考えると、文レベルでのデバイアスを行う必要がある。 本稿では,文レベルの表象における社会的バイアスの存在を調査し,これらのバイアスを減らすための新しい方法であるsend-debiasを提案する。 本研究では,感情分析,言語受容性,自然言語理解などの文レベルの下流タスクにおいて,send-debiasはバイアスの除去に有効であることを示す。 我々は、より公平なNLPのための広く採用されている文表現から社会的偏見を識別・除去する今後の研究に刺激を与えることを期待している。

関連論文リスト

• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media [17.4812995898078]
  我々は,米国オンラインニュース記事に存在する社会バイアスの種類を正確に測定するために,どのような埋め込みアルゴリズムが最適かを検討する。 我々は500万の記事を収集し、予想される社会的偏見に関して心理学文献をレビューする。 我々は、ニュース記事のアルゴリズムでトレーニングされたモデルが、期待される社会的バイアスをどう表すかを比較する。
  論文  参考訳（メタデータ） (2022-11-07T15:45:52Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Sense Embeddings are also Biased--Evaluating Social Biases in Static and Contextualised Sense Embeddings [28.062567781403274]
  曖昧な言葉の1つの感覚は社会的に偏りがあるが、他の感覚はバイアスのないままである。 我々は、ソーシャルバイアスを意識的な埋め込みで評価するためのベンチマークデータセットを作成する。 感性特異的なバイアス評価尺度を提案する。
  論文  参考訳（メタデータ） (2022-03-14T22:08:37Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• "Thy algorithm shalt not bear false witness": An Evaluation of Multiclass Debiasing Methods on Word Embeddings [3.0204693431381515]
  本稿では,最先端のマルチクラス・デバイアス技術であるハード・デバイアス,ソフトウィート・デバイアス,コンセプタ・デバイアスについて検討する。 単語埋め込みアソシエーションテスト(WEAT)、平均コサイン類似度(MAC)、相対負性感覚バイアス(RNSB)によるバイアス除去を定量化することにより、共通のバイアス除去時のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2020-10-30T12:49:39Z)
• Discovering and Interpreting Biased Concepts in Online Communities [5.670038395203354]
  言語は暗黙の人間のバイアスを持ち、反射とそれらを持ち歩くステレオタイプの永続の両方として機能する。 単語埋め込みのようなMLベースのNLP手法は、そのような言語バイアスを顕著な精度で学習することが示されている。 本稿では、単語埋め込みに符号化されたバイアス概念を自動的に検出し、解釈する従来のデータ駆動手法を改善し、拡張し、評価する。
  論文  参考訳（メタデータ） (2020-10-27T17:07:12Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。