論文の概要: Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets

• arxiv url: http://arxiv.org/abs/2203.12942v1
• Date: Thu, 24 Mar 2022 09:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 13:01:16.358796
• Title: Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets
• Title（参考訳）: 自然言語推論データセットにおけるスプリアス相関を緩和するためのデータ生成
• Authors: Yuxiang Wu, Matt Gardner, Pontus Stenetorp and Pradeep Dasigi
• Abstract要約: 自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。 そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。 提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
• 参考スコア（独自算出の注目度）: 27.562256973255728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language processing models often exploit spurious correlations between task-independent features and labels in datasets to perform well only within the distributions they are trained on, while not generalising to different task distributions. We propose to tackle this problem by generating a debiased version of a dataset, which can then be used to train a debiased, off-the-shelf model, by simply replacing its training data. Our approach consists of 1) a method for training data generators to generate high-quality, label-consistent data samples; and 2) a filtering mechanism for removing data points that contribute to spurious correlations, measured in terms of z-statistics. We generate debiased versions of the SNLI and MNLI datasets, and we evaluate on a large suite of debiased, out-of-distribution, and adversarial test sets. Results show that models trained on our debiased datasets generalise better than those trained on the original datasets in all settings. On the majority of the datasets, our method outperforms or performs comparably to previous state-of-the-art debiasing strategies, and when combined with an orthogonal technique, product-of-experts, it improves further and outperforms previous best results of SNLI-hard and MNLI-hard.
• Abstract（参考訳）: 自然言語処理モデルは、しばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象の分布内でのみうまく機能し、異なるタスク分布に一般化しない。 そこで本研究では,データセットのデバイアスバージョンを生成し,そのトレーニングデータを単純に置き換えることで、デバイアスされたオフ・ザ・棚モデルのトレーニングに使用できることを提案する。 私たちのアプローチは 1) 高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法 2)z統計量の観点から測定した突発的相関に寄与するデータ点を除去するフィルタリング機構。 SNLIデータセットとMNLIデータセットのデバイアスバージョンを生成し、デバイアス、アウト・オブ・ディストリビューション、および逆テストセットの大規模なセットで評価する。 その結果、偏りのあるデータセットでトレーニングされたモデルは、すべての設定でトレーニングされた元のデータセットよりも一般化されていることがわかった。 提案手法は,ほとんどのデータセットにおいて,従来の最先端のデバイアス対策よりも優れ,かつ,直交技術,製品・オブ・エキスパートと組み合わせることで,SNLI-hardとMNLI-hardの従来の最良の結果よりも向上し,優れた結果が得られる。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Too Fine or Too Coarse? The Goldilocks Composition of Data Complexity for Robust Left-Right Eye-Tracking Classifiers [0.0]
  我々は、細粒度データと粗粒度データの両方からなる混合データセットを用いて機械学習モデルを訓練する。 我々の目的のために、細粒度データはより複雑な方法で収集されたデータを指すのに対し、粗粒度データはより単純な方法で収集されたデータを指す。
  論文  参考訳（メタデータ） (2022-08-24T23:18:08Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• CrossAug: A Contrastive Data Augmentation Method for Debiasing Fact Verification Models [14.75693099720436]
  そこで本研究では,事実検証モデルのデバイアス化のためのデータ拡張手法であるCrossAugを提案する。 既存のサンプルから新たなクレームやエビデンスを生成するために、2段階拡張パイプラインを使用します。 生成されたサンプルは、元のペアとクロスワイズにペアリングされ、対照的なサンプルを形成します。
  論文  参考訳（メタデータ） (2021-09-30T13:19:19Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。