論文の概要: A Source-Criticism Debiasing Method for GloVe Embeddings
- arxiv url: http://arxiv.org/abs/2106.13382v1
- Date: Fri, 25 Jun 2021 01:31:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 00:40:49.222230
- Title: A Source-Criticism Debiasing Method for GloVe Embeddings
- Title（参考訳）: グローブインベディングのソース・クリティカル・デバイアス法
- Authors: Hope McGovern
- Abstract要約: 本稿では,GloVe単語の埋め込みを簡易かつ効果的に除去する手法を提案する。
本手法では, バイアスデータを完全に除去するのではなく, トレーニングセットのバイアスに関する明示的な情報を組み込む。
SC-GloVeはトレーニングデータやTOP-1の性能を犠牲にすることなく,ソースクリティカルなGloVe集合への影響を低減できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: It is well-documented that word embeddings trained on large public corpora
consistently exhibit known human social biases. Although many methods for
debiasing exist, almost all fixate on completely eliminating biased information
from the embeddings and often diminish training set size in the process. In
this paper, we present a simple yet effective method for debiasing GloVe word
embeddings (Pennington et al., 2014) which works by incorporating explicit
information about training set bias rather than removing biased data outright.
Our method runs quickly and efficiently with the help of a fast bias gradient
approximation method from Brunet et al. (2019). As our approach is akin to the
notion of 'source criticism' in the humanities, we term our method
Source-Critical GloVe (SC-GloVe). We show that SC-GloVe reduces the effect size
on Word Embedding Association Test (WEAT) sets without sacrificing training
data or TOP-1 performance.
- Abstract（参考訳）: 大規模な公共コーパスで訓練された単語の埋め込みは、既知の人間の社会的偏見を一貫して示すことはよく文書化されている。
多くのデバイアスの方法が存在するが、ほとんどの場合、埋め込みからバイアス情報を完全に排除し、プロセス内のトレーニングセットのサイズを小さくする。
本稿では,偏りのあるデータを取り除くのではなく,トレーニングセットの偏りに関する明示的な情報を取り込むことにより,グローブワード埋め込み(pennington et al., 2014)の偏りを解消する簡易かつ効果的な手法を提案する。
提案手法は,Brunetらによる高速バイアス勾配近似法の助けを借りて,迅速かつ効率的に動作する。
(2019).
私たちのアプローチは、人文科学における「ソース批判」の概念に似ているので、本手法をソースクリティカルグローブ(sc-glove)と呼ぶ。
SC-GloVeは,トレーニングデータやTOP-1の性能を犠牲にすることなく,ワード埋め込みアソシエーションテスト(WEAT)セットへの影響を小さくする。
関連論文リスト
- Debiasing Sentence Embedders through Contrastive Word Pairs [46.9044612783003]
NLP解に対する線形および非線形バイアス情報を除去する手法を検討する。
従来のバイアス指標と非線形情報を考慮に入れたバイアス指標の共通偏り評価手法との比較を行った。
論文 参考訳（メタデータ） (2024-03-27T13:34:59Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳（メタデータ） (2024-02-03T01:40:11Z) - The Impact of Debiasing on the Performance of Language Models in
Downstream Tasks is Underestimated [70.23064111640132]
我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。
実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
論文 参考訳（メタデータ） (2023-09-16T20:25:34Z) - A Bayesian approach to uncertainty in word embedding bias estimation [0.0]
WEAT や MAC のような複数の測度は、単語の埋め込みに存在するバイアスの大きさを1つの数字のメートル法で定量化しようとする。
このような手法を用いて、意図したバイアスを欠いたnullモデルによってデータが生成される場合でも、同様の結果が容易に得られることを示す。
単語埋め込みにおけるバイアスのより不確実性に敏感な検査を可能にする階層型ベイズモデルを提案する。
論文 参考訳（メタデータ） (2023-06-15T11:48:50Z) - BiasBed -- Rigorous Texture Bias Evaluation [21.55506905780658]
テクスチャとスタイルバイアスのトレーニングのためのテストベッドであるBiasBedを紹介した。
厳密な仮説テストが伴い、結果の意義を測る。
例えば、文献で提案されているいくつかのアルゴリズムは、スタイルバイアスの影響を著しく緩和しない。
論文 参考訳（メタデータ） (2022-11-23T18:22:59Z) - "Thy algorithm shalt not bear false witness": An Evaluation of
Multiclass Debiasing Methods on Word Embeddings [3.0204693431381515]
本稿では,最先端のマルチクラス・デバイアス技術であるハード・デバイアス,ソフトウィート・デバイアス,コンセプタ・デバイアスについて検討する。
単語埋め込みアソシエーションテスト(WEAT)、平均コサイン類似度(MAC)、相対負性感覚バイアス(RNSB)によるバイアス除去を定量化することにより、共通のバイアス除去時のパフォーマンスを評価する。
論文 参考訳（メタデータ） (2020-10-30T12:49:39Z) - Taking Notes on the Fly Helps BERT Pre-training [94.43953312613577]
Takeing Notes on the Fly (TNF) は、事前トレーニング中にフライで稀な単語のメモを取り、次回発生するときにモデルがそれらを理解するのに役立つ。
TNFは、文中のまれな単語によって引き起こされる不適切な意味をカバーするために、クロス文情報を用いるので、より良いデータ利用を提供する。
論文 参考訳（メタデータ） (2020-08-04T11:25:09Z) - OSCaR: Orthogonal Subspace Correction and Rectification of Biases in
Word Embeddings [47.721931801603105]
我々は,概念全体を取り除く代わりに,概念間のバイアス付き関連を解消することに焦点を当てたバイアス緩和手法であるOSCaRを提案する。
性別バイアスに関する実験により、OSCaRは、セマンティック情報が埋め込みに保持され、バイアスも効果的に緩和されるようなバランスのとれたアプローチであることが示されている。
論文 参考訳（メタデータ） (2020-06-30T18:18:13Z) - Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。
本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
論文 参考訳（メタデータ） (2020-05-03T02:33:20Z) - Joint Multiclass Debiasing of Word Embeddings [5.1135133995376085]
本稿では,複数のバイアス次元を同時に脱バイアスできる多クラス脱バイアス手法を提案する。
単語埋め込みにおけるベクトル間の有意義な関係を維持しながら、私たちの概念がバイアスを減らすか、あるいは完全に排除できることを示す。
論文 参考訳（メタデータ） (2020-03-09T22:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。