論文の概要: Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference
- arxiv url: http://arxiv.org/abs/2211.03862v1
- Date: Mon, 7 Nov 2022 21:02:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 16:01:56.989578
- Title: Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference
- Title(参考訳): 概観する:自然言語推論における単語オーバーラップバイアスの分析
- Authors: Sara Rajaee, Yadollah Yaghoobzadeh, Mohammad Taher Pilehvar
- Abstract要約: 我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
- 参考スコア(独自算出の注目度): 20.112129592923246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been shown that NLI models are usually biased with respect to the
word-overlap between premise and hypothesis; they take this feature as a
primary cue for predicting the entailment label. In this paper, we focus on an
overlooked aspect of the overlap bias in NLI models: the reverse word-overlap
bias. Our experimental results demonstrate that current NLI models are highly
biased towards the non-entailment label on instances with low overlap, and the
existing debiasing methods, which are reportedly successful on existing
challenge datasets, are generally ineffective in addressing this category of
bias. We investigate the reasons for the emergence of the overlap bias and the
role of minority examples in its mitigation. For the former, we find that the
word-overlap bias does not stem from pre-training, and for the latter, we
observe that in contrast to the accepted assumption, eliminating minority
examples does not affect the generalizability of debiasing methods with respect
to the overlap bias.
- Abstract(参考訳): nliモデルは通常、前提と仮説の間の単語オーバーラップに関して偏りがあることが示されている。
本稿では、NLIモデルにおける重複バイアスの見過ごされた側面、すなわち逆ワードオーバーラップバイアスに焦点を当てる。
実験の結果,現状のnliモデルでは,重複度の低いインスタンスでは非制限ラベルに対して高いバイアスがかかっており,既存の課題データセットで成功したとされる既存のデバイアス手法は,一般的にはバイアスのカテゴリに対処できないことがわかった。
本稿では,重複バイアスの発生原因と,その緩和における少数例の役割について検討する。
前者にとって、単語オーバーラップバイアスは事前学習に起因していないことが分かり、後者については、受け入れられた仮定とは対照的に、少数例を排除することは、重複バイアスに関するデバイアス手法の一般化に影響を及ぼさない。
関連論文リスト
- Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳(メタデータ) (2023-12-06T16:15:00Z) - Mitigating Bias for Question Answering Models by Tracking Bias Influence [87.84850806865059]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。
バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。
本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文 参考訳(メタデータ) (2023-10-13T00:49:09Z) - Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo
Chamber [17.034228910493056]
本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。
本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。
提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
論文 参考訳(メタデータ) (2023-05-06T13:13:18Z) - Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。
我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。
我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
論文 参考訳(メタデータ) (2022-04-26T10:51:50Z) - How Gender Debiasing Affects Internal Model Representations, and Why It
Matters [26.993273464725995]
内因性バイアスは、標準のWEAT測定値よりもデバイアスの指標として優れていることを示す。
当社のフレームワークは,NLPモデルのバイアスを包括的に把握し,より情報のある方法でNLPシステムのデプロイに適用することができる。
論文 参考訳(メタデータ) (2022-04-14T08:54:15Z) - The SAME score: Improved cosine based bias score for word embeddings [63.24247894974291]
文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。
既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
論文 参考訳(メタデータ) (2022-03-28T09:28:13Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。
本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-25T15:49:39Z) - MDR Cluster-Debias: A Nonlinear WordEmbedding Debiasing Pipeline [3.180013942295509]
単語埋め込みの既存の手法は、しばしば表面的には、特定の性別とステレオタイプに結びついている単語は、デバイアスされた空間で一緒にクラスタ化される。
本稿では、この残差クラスタリングがなぜ存在するのか、どのように対処されるのかを考察する。
残留バイアスが存在する2つの潜在的な理由を特定し、このバイアスを軽減するために新しいパイプラインであるMDR Cluster-Debiasを開発する。
論文 参考訳(メタデータ) (2020-06-20T20:03:07Z) - Mitigating Gender Bias Amplification in Distribution by Posterior
Regularization [75.3529537096899]
本稿では,男女差の増幅問題について,分布の観点から検討する。
後続正則化に基づくバイアス緩和手法を提案する。
私たちの研究はバイアス増幅の理解に光を当てている。
論文 参考訳(メタデータ) (2020-05-13T11:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。