論文の概要: Robustness to Spurious Correlations in Text Classification via
Automatically Generated Counterfactuals
- arxiv url: http://arxiv.org/abs/2012.10040v1
- Date: Fri, 18 Dec 2020 03:57:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 18:08:00.665234
- Title: Robustness to Spurious Correlations in Text Classification via
Automatically Generated Counterfactuals
- Title（参考訳）: 自動生成によるテキスト分類における粗い相関性へのロバスト性
- Authors: Zhao Wang and Aron Culotta
- Abstract要約: 自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。
因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
- 参考スコア（独自算出の注目度）: 8.827892752465958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spurious correlations threaten the validity of statistical classifiers. While
model accuracy may appear high when the test data is from the same distribution
as the training data, it can quickly degrade when the test distribution
changes. For example, it has been shown that classifiers perform poorly when
humans make minor modifications to change the label of an example. One solution
to increase model reliability and generalizability is to identify causal
associations between features and classes. In this paper, we propose to train a
robust text classifier by augmenting the training data with automatically
generated counterfactual data. We first identify likely causal features using a
statistical matching approach. Next, we generate counterfactual samples for the
original training data by substituting causal features with their antonyms and
then assigning opposite labels to the counterfactual samples. Finally, we
combine the original data and counterfactual data to train a robust classifier.
Experiments on two classification tasks show that a traditional classifier
trained on the original data does very poorly on human-generated counterfactual
samples (e.g., 10%-37% drop in accuracy). However, the classifier trained on
the combined data is more robust and performs well on both the original test
data and the counterfactual test data (e.g., 12%-25% increase in accuracy
compared with the traditional classifier). Detailed analysis shows that the
robust classifier makes meaningful and trustworthy predictions by emphasizing
causal features and de-emphasizing non-causal features.
- Abstract（参考訳）: 純粋相関は統計分類器の妥当性を脅かす。
テストデータがトレーニングデータと同じ分布である場合、モデルの精度は高く見えるが、テスト分布が変化するとすぐに劣化する可能性がある。
例えば、人間がサンプルのラベルを変更するために小さな修正を行った場合、分類器は性能が悪いことが示されている。
モデルの信頼性と一般化性を高める一つの解決策は、特徴とクラスの間の因果関係を特定することである。
本稿では,自動生成した対実データを用いてトレーニングデータを増強し,頑健なテキスト分類器を訓練することを提案する。
まず,統計的マッチング手法を用いて因果的特徴を同定する。
次に, 元のトレーニングデータに対して, 因果的特徴をアントロニムに置換し, 反対のラベルを反ファクト的サンプルに割り当てることで, 反ファクト的サンプルを生成する。
最後に、元のデータと反実データを組み合わせて、堅牢な分類器を訓練する。
2つの分類タスクの実験は、オリジナルのデータに基づいて訓練された伝統的な分類器が、人間の生成した偽物サンプル(例えば、10%-37%の精度低下)に非常に悪影響を及ぼすことを示した。
しかし、組み合わせデータに基づいて訓練された分類器はより堅牢で、元のテストデータとカウンターファクトテストデータの両方(例えば従来の分類器と比較して12%-25%の精度向上)で良好に機能する。
詳細な分析によると、ロバスト分類器は因果的特徴を強調し、非因果的特徴を強調することによって有意義で信頼できる予測を行う。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Improving Classifier Robustness through Active Generation of Pairwise
Counterfactuals [22.916599410472102]
本稿では,カウンターファクト・ジェネレーティブ・モデルを用いて多種多様なカウンターファクト・モデルを生成する新しいフレームワークを提案する。
少量の人間注釈付き対実データ(10%)で、学習ラベルを用いた対実データ拡張データセットを生成することができることを示す。
論文 参考訳（メタデータ） (2023-05-22T23:19:01Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Robust Neural Network Classification via Double Regularization [2.41710192205034]
本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。
我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
論文 参考訳（メタデータ） (2021-12-15T13:19:20Z) - Automatically detecting data drift in machine learning classifiers [2.202253618096515]
機械学習のパフォーマンスデータドリフト」や「ドリフト」に影響を及ぼす変化を言う。
提案するラベルの分類と信頼性のみに基づくアプローチを提案し,データ分散やデータドリフトの原因となる可能性のある特徴空間の変更を警告する。
論文 参考訳（メタデータ） (2021-11-10T12:34:14Z) - Double Perturbation: On the Robustness of Robustness and Counterfactual
Bias Evaluation [109.06060143938052]
テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。
この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
論文 参考訳（メタデータ） (2021-04-12T06:57:36Z) - Evaluating Fairness of Machine Learning Models Under Uncertain and
Incomplete Information [25.739240011015923]
属性分類器のテスト精度は下流モデルにおけるバイアス推定の有効性と常に相関しているとは限らない。
我々の分析は,属性分類器の誤りを可能な限り不均一に分配したいという状況において,意外かつ直感的な意味を持っている。
論文 参考訳（メタデータ） (2021-02-16T19:02:55Z) - Robust Fairness under Covariate Shift [11.151913007808927]
保護グループメンバーシップに関して公正な予測を行うことは、分類アルゴリズムの重要な要件となっている。
本稿では,ターゲット性能の面で最悪のケースに対して頑健な予測値を求める手法を提案する。
論文 参考訳（メタデータ） (2020-10-11T04:42:01Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。