論文の概要: Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training

• arxiv url: http://arxiv.org/abs/2004.07790v5
• Date: Thu, 27 May 2021 17:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 20:44:32.709540
• Title: Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training
• Title（参考訳）: アンサンブル逆学習による自然言語推論における仮説のみバイアスの回避
• Authors: Joe Stacey, Pasquale Minervini, Haim Dubossarsky, Sebastian Riedel, Tim Rockt\"aschel
• Abstract要約: 本研究では, 文表現において, 敵のアンサンブルを用いてバイアスを低減できることを示す。 このアプローチはより堅牢なNLIモデルを生成し、12のデータセットに一般化された以前の非バイアス処理よりも優れています。
• 参考スコア（独自算出の注目度）: 27.848639511397725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Inference (NLI) datasets contain annotation artefacts resulting in spurious correlations between the natural language utterances and their respective entailment classes. These artefacts are exploited by neural networks even when only considering the hypothesis and ignoring the premise, leading to unwanted biases. Belinkov et al. (2019b) proposed tackling this problem via adversarial training, but this can lead to learned sentence representations that still suffer from the same biases. We show that the bias can be reduced in the sentence representations by using an ensemble of adversaries, encouraging the model to jointly decrease the accuracy of these different adversaries while fitting the data. This approach produces more robust NLI models, outperforming previous de-biasing efforts when generalised to 12 other datasets (Belinkov et al., 2019a; Mahabadi et al., 2020). In addition, we find that the optimal number of adversarial classifiers depends on the dimensionality of the sentence representations, with larger sentence representations being more difficult to de-bias while benefiting from using a greater number of adversaries.
• Abstract（参考訳）: 自然言語推論(NLI)データセットにはアノテーションアーティファクトが含まれており、自然言語の発声とそれぞれの含意クラスの間に急激な相関関係が生じる。 これらの人工物は仮説や前提を無視しただけでニューラルネットワークによって利用され、望ましくないバイアスをもたらす。 Belinkov et al. (2019b) は敵対的な訓練を通じてこの問題に取り組むことを提案したが、それでも同じバイアスに悩まされる文表現の学習につながる可能性がある。 本研究は, 文表現において, 敵のアンサンブルを用いてバイアスを低減できることを示し, データを適合させながら, 異なる敵の精度を両立させることを奨励する。 このアプローチはより堅牢なNLIモデルを生成し、12の他のデータセット(Belinkov et al., 2019a; Mahabadi et al., 2020)に一般化された場合、以前の非バイアス処理よりも優れている。 さらに, 逆分類器の最適個数は文表現の次元に依存しており, より大きな文表現は, より多くの逆数の使用の利益を享受しながら, 脱バイアスが困難であることがわかった。

関連論文リスト

• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective [1.351603931922027]
  様々なバイアスの影響を効果的に排除することは、高品質な文の埋め込みを学習するために重要であると論じる。 本稿では,これらのバイアスの影響を排除できる文埋め込みフレームワークDebCSEを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:43:34Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)
• HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference [38.14399396661415]
  仮説のみのバイアスの観点から、逆例を導出する。 このような仮説のみのバイアスを軽減するために、人工パターンモデリングを利用する2つのデバイアス手法について検討する。
  論文  参考訳（メタデータ） (2020-03-05T16:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。