論文の概要: Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference

• arxiv url: http://arxiv.org/abs/2211.03862v1
• Date: Mon, 7 Nov 2022 21:02:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 16:01:56.989578
• Title: Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference
• Title（参考訳）: 概観する:自然言語推論における単語オーバーラップバイアスの分析
• Authors: Sara Rajaee, Yadollah Yaghoobzadeh, Mohammad Taher Pilehvar
• Abstract要約: 我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。 現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。 重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
• 参考スコア（独自算出の注目度）: 20.112129592923246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been shown that NLI models are usually biased with respect to the word-overlap between premise and hypothesis; they take this feature as a primary cue for predicting the entailment label. In this paper, we focus on an overlooked aspect of the overlap bias in NLI models: the reverse word-overlap bias. Our experimental results demonstrate that current NLI models are highly biased towards the non-entailment label on instances with low overlap, and the existing debiasing methods, which are reportedly successful on existing challenge datasets, are generally ineffective in addressing this category of bias. We investigate the reasons for the emergence of the overlap bias and the role of minority examples in its mitigation. For the former, we find that the word-overlap bias does not stem from pre-training, and for the latter, we observe that in contrast to the accepted assumption, eliminating minority examples does not affect the generalizability of debiasing methods with respect to the overlap bias.
• Abstract（参考訳）: nliモデルは通常、前提と仮説の間の単語オーバーラップに関して偏りがあることが示されている。 本稿では、NLIモデルにおける重複バイアスの見過ごされた側面、すなわち逆ワードオーバーラップバイアスに焦点を当てる。 実験の結果,現状のnliモデルでは,重複度の低いインスタンスでは非制限ラベルに対して高いバイアスがかかっており,既存の課題データセットで成功したとされる既存のデバイアス手法は,一般的にはバイアスのカテゴリに対処できないことがわかった。 本稿では,重複バイアスの発生原因と,その緩和における少数例の役割について検討する。 前者にとって、単語オーバーラップバイアスは事前学習に起因していないことが分かり、後者については、受け入れられた仮定とは対照的に、少数例を排除することは、重複バイアスに関するデバイアス手法の一般化に影響を及ぼさない。

関連論文リスト

• Say My Name: a Model's Bias Discovery Framework [18.887645415907166]
  Say My Name'(SaMyNa)は、ディープモデル内のバイアスを意味的に識別する最初のツールです。 既存の方法とは異なり、私たちのアプローチはモデルによって学習されたバイアスに焦点を当てています。 本手法は,タスク関連情報をアンタングル化し,偏見を解析するためのツールとして提案する。
  論文  参考訳（メタデータ） (2024-08-18T18:50:59Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• How Gender Debiasing Affects Internal Model Representations, and Why It Matters [26.993273464725995]
  内因性バイアスは、標準のWEAT測定値よりもデバイアスの指標として優れていることを示す。 当社のフレームワークは,NLPモデルのバイアスを包括的に把握し,より情報のある方法でNLPシステムのデプロイに適用することができる。
  論文  参考訳（メタデータ） (2022-04-14T08:54:15Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
  NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。 本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-25T15:49:39Z)
• MDR Cluster-Debias: A Nonlinear WordEmbedding Debiasing Pipeline [3.180013942295509]
  単語埋め込みの既存の手法は、しばしば表面的には、特定の性別とステレオタイプに結びついている単語は、デバイアスされた空間で一緒にクラスタ化される。 本稿では、この残差クラスタリングがなぜ存在するのか、どのように対処されるのかを考察する。 残留バイアスが存在する2つの潜在的な理由を特定し、このバイアスを軽減するために新しいパイプラインであるMDR Cluster-Debiasを開発する。
  論文  参考訳（メタデータ） (2020-06-20T20:03:07Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。