論文の概要: Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers

• arxiv url: http://arxiv.org/abs/2305.16863v2
• Date: Wed, 21 Jun 2023 07:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 17:04:00.790049
• Title: Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers
• Title（参考訳）: テキスト分類器のすっきりした相関を抑える学習効果の制御
• Authors: Parikshit Bansal, Amit Sharma
• Abstract要約: 本稿では,特徴の学習効果をモデルで予測し,特徴がラベルに与える影響を推定するアルゴリズムを提案する。 毒性とIMDBレビューデータセットについて、提案アルゴリズムは、突発的な相関を最小化し、マイノリティグループを改善する。
• 参考スコア（独自算出の注目度）: 6.662800021628275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the problem of NLP classifiers learning spurious correlations between training features and target labels, a common approach is to make the model's predictions invariant to these features. However, this can be counter-productive when the features have a non-zero causal effect on the target label and thus are important for prediction. Therefore, using methods from the causal inference literature, we propose an algorithm to regularize the learnt effect of the features on the model's prediction to the estimated effect of feature on label. This results in an automated augmentation method that leverages the estimated effect of a feature to appropriately change the labels for new augmented inputs. On toxicity and IMDB review datasets, the proposed algorithm minimises spurious correlations and improves the minority group (i.e., samples breaking spurious correlations) accuracy, while also improving the total accuracy compared to standard training.
• Abstract（参考訳）: NLP分類器がトレーニング特徴とターゲットラベルの急激な相関関係を学習する問題に対処するために、モデルの予測をこれらの特徴に不変にする方法が一般的である。 しかし、この機能がターゲットラベルに非ゼロ因果効果を持つ場合に逆生成的であり、したがって予測に重要である。 そこで,因果推論の文献から得られた手法を用いて,モデル予測における特徴の学習効果をラベルに対する特徴の予測効果に正則化するアルゴリズムを提案する。 これにより,特徴量の推定効果を利用してラベルを適切に変更する自動拡張手法が実現される。 毒性およびIMDBレビューデータセットについて、提案アルゴリズムは、スプリアス相関を最小化し、マイノリティグループ(すなわち、スプリアス相関を破るサンプル)の精度を向上するとともに、標準トレーニングと比較して総精度を向上する。

関連論文リスト

• Spuriousness-Aware Meta-Learning for Learning Robust Classifiers [26.544938760265136]
  Spurious correlations is brittle associations between certain attribute of inputs and target variables。 深部画像分類器はしばしばそれらを予測に利用し、相関が持たないデータの一般化が不十分になる。 スプリアス相関の影響を緩和することはロバストなモデル一般化に不可欠であるが、しばしばデータ内のスプリアス相関のアノテーションを必要とする。
  論文  参考訳（メタデータ） (2024-06-15T21:41:25Z)
• Learning Robust Classifiers with Self-Guided Spurious Correlation Mitigation [26.544938760265136]
  ディープニューラル分類器は、入力のスプリアス属性とターゲットの間のスプリアス相関に頼り、予測を行う。 本稿では,自己誘導型スプリアス相関緩和フレームワークを提案する。 予測行動の違いを識別するために分類器の訓練を行うことで,事前知識を必要とせず,素因関係への依存を軽減できることを示す。
  論文  参考訳（メタデータ） (2024-05-06T17:12:21Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [95.5442607785241]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• On the Efficacy of Generalization Error Prediction Scoring Functions [33.24980750651318]
  一般化誤差予測器(GEP)は,サンプルレベルのスコアからデータセットレベルの誤差推定を導出することにより,未知分布のモデル性能を予測することを目的としている。 機構選択に依存しない一般的なスコアリング関数(自信,局所多様体の滑らかさ,モデル適合性)の有効性を厳密に研究する。
  論文  参考訳（メタデータ） (2023-03-23T18:08:44Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。