論文の概要: Fighting Bias with Bias: Promoting Model Robustness by Amplifying Dataset Biases

• arxiv url: http://arxiv.org/abs/2305.18917v1
• Date: Tue, 30 May 2023 10:10:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 17:01:51.479378
• Title: Fighting Bias with Bias: Promoting Model Robustness by Amplifying Dataset Biases
• Title（参考訳）: バイアスと戦う:データセットバイアスの増幅によるモデルロバストネスの促進
• Authors: Yuval Reif, Roy Schwartz
• Abstract要約: 最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルを開発することを試みた。 このようなフィルタリングは、バイアスを克服するモデルの真の能力を曖昧にする可能性がある、と私たちは主張する。 バイアス増幅トレーニングセットとバイアス防止テストセットで定義された評価フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 5.997909991352044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NLP models often rely on superficial cues known as dataset biases to achieve impressive performance, and can fail on examples where these biases do not hold. Recent work sought to develop robust, unbiased models by filtering biased examples from training sets. In this work, we argue that such filtering can obscure the true capabilities of models to overcome biases, which might never be removed in full from the dataset. We suggest that in order to drive the development of models robust to subtle biases, dataset biases should be amplified in the training set. We introduce an evaluation framework defined by a bias-amplified training set and an anti-biased test set, both automatically extracted from existing datasets. Experiments across three notions of bias, four datasets and two models show that our framework is substantially more challenging for models than the original data splits, and even more challenging than hand-crafted challenge sets. Our evaluation framework can use any existing dataset, even those considered obsolete, to test model robustness. We hope our work will guide the development of robust models that do not rely on superficial biases and correlations. To this end, we publicly release our code and data.
• Abstract（参考訳）: NLPモデルは、しばしば顕著なパフォーマンスを達成するためにデータセットバイアスとして知られる表面的な手がかりに依存し、これらのバイアスが保持されない例で失敗する。 最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルの開発を試みた。 この研究で、そのようなフィルタリングはバイアスを克服するモデルの真の能力を曖昧にし、データセットから完全に取り除かれることはない、と論じる。 微妙なバイアスに頑健なモデルの開発を進めるためには、データセットのバイアスをトレーニングセットで増幅すべきだと提案する。 既存のデータセットから自動抽出したバイアス増幅トレーニングセットとアンチバイアステストセットで定義された評価フレームワークを紹介する。 バイアスの3つの概念、データセット4つ、モデル2つにまたがる実験によると、私たちのフレームワークは、オリジナルのデータ分割よりもモデルにとってかなり難しい。 私たちの評価フレームワークは、モデルロバスト性をテストするために、時代遅れと考えられるあらゆる既存のデータセットを利用することができます。 我々の研究が表面バイアスや相関に依存しない堅牢なモデルの開発を導くことを期待しています。 この目的のために、コードとデータを公開しています。

関連論文リスト

• Addressing Bias Through Ensemble Learning and Regularized Fine-Tuning [0.2812395851874055]
  本稿では,AIモデルのバイアスを取り除くために,複数の手法を用いた包括的アプローチを提案する。 我々は、データ分割、局所訓練、正規化ファインチューニングを通じて、事前訓練されたモデルのカウンターバイアスで複数のモデルを訓練する。 我々は、単一のバイアスのないニューラルネットワークをもたらす知識蒸留を用いて、ソリューションを結論付けている。
  論文  参考訳（メタデータ） (2024-02-01T09:24:36Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo Chamber [17.034228910493056]
  本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。 本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。 提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
  論文  参考訳（メタデータ） (2023-05-06T13:13:18Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。