論文の概要: Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation

• arxiv url: http://arxiv.org/abs/2104.05232v1
• Date: Mon, 12 Apr 2021 06:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:28:43.664783
• Title: Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation
• Title（参考訳）: 二重摂動:ロバストネスのロバスト性と対実バイアス評価について
• Authors: Chong Zhang, Jieyu Zhao, Huan Zhang, Kai-Wei Chang, Cho-Jui Hsieh
• Abstract要約: テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
• 参考スコア（独自算出の注目度）: 109.06060143938052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness and counterfactual bias are usually evaluated on a test dataset. However, are these evaluations robust? If the test dataset is perturbed slightly, will the evaluation results keep the same? In this paper, we propose a "double perturbation" framework to uncover model weaknesses beyond the test dataset. The framework first perturbs the test dataset to construct abundant natural sentences similar to the test data, and then diagnoses the prediction change regarding a single-word substitution. We apply this framework to study two perturbation-based approaches that are used to analyze models' robustness and counterfactual bias in English. (1) For robustness, we focus on synonym substitutions and identify vulnerable examples where prediction can be altered. Our proposed attack attains high success rates (96.0%-99.8%) in finding vulnerable examples on both original and robustly trained CNNs and Transformers. (2) For counterfactual bias, we focus on substituting demographic tokens (e.g., gender, race) and measure the shift of the expected prediction among constructed sentences. Our method is able to reveal the hidden model biases not directly shown in the test dataset. Our code is available at https://github.com/chong-z/nlp-second-order-attack.
• Abstract（参考訳）: ロバストさと反事実バイアスは通常、テストデータセットで評価される。 しかし、これらの評価は堅牢か? テストデータセットがわずかに乱れた場合、評価結果は同じになるのでしょうか? 本稿では,テストデータセット以外のモデルの弱点を明らかにするための「二重摂動」フレームワークを提案する。 フレームワークはまず、テストデータセットを摂動させ、テストデータに似た豊富な自然文を構築し、その後、単一単語置換に関する予測変化を診断する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。 1)ロバスト性については,同義語置換に着目し,予測の変更が可能な脆弱な例を特定する。 提案手法は,オリジナルおよびロバストに訓練されたcnnとトランスフォーマーの両方において,高い成功率(96.0%-99.8%)を達成した。 2)反事実バイアスについては,人口統計学的トークン(性別,人種など)の置換に着目し,構築文間の予測のシフトを測定する。 本手法は,テストデータセットで直接表示されない隠れたモデルバイアスを明らかにすることができる。 私たちのコードはhttps://github.com/chong-z/nlp-second-order-attackで利用可能です。

関連論文リスト

• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning [15.68462203989933]
  スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。 より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-20T16:20:56Z)
• Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
  本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。 この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。 また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
  論文  参考訳（メタデータ） (2022-06-07T20:47:07Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Robust Fairness-aware Learning Under Sample Selection Bias [17.09665420515772]
  サンプル選択バイアス下での頑健で公正な学習のための枠組みを提案する。 テストデータが利用可能で、利用できない場合に、サンプル選択バイアスを処理する2つのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-05-24T23:23:36Z)
• Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals [8.827892752465958]
  自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。 因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
  論文  参考訳（メタデータ） (2020-12-18T03:57:32Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Stable Prediction via Leveraging Seed Variable [73.9770220107874]
  従来の機械学習手法は、非因果変数によって誘導されるトレーニングデータにおいて、微妙に刺激的な相関を利用して予測する。 本研究では, 条件付き独立性テストに基づくアルゴリズムを提案し, 種子変数を先行変数とする因果変数を分離し, 安定な予測に採用する。 我々のアルゴリズムは、安定した予測のための最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-06-09T06:56:31Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。