論文の概要: Learning from others' mistakes: Avoiding dataset biases without modeling them

• arxiv url: http://arxiv.org/abs/2012.01300v1
• Date: Wed, 2 Dec 2020 16:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 07:26:21.468403
• Title: Learning from others' mistakes: Avoiding dataset biases without modeling them
• Title（参考訳）: 他人の失敗から学ぶ - モデリングせずにデータセットのバイアスを避ける
• Authors: Victor Sanh, Thomas Wolf, Yonatan Belinkov, Alexander M. Rush
• Abstract要約: 最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
• 参考スコア（独自算出の注目度）: 111.17078939377313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art natural language processing (NLP) models often learn to model dataset biases and surface form correlations instead of features that target the intended underlying task. Previous work has demonstrated effective methods to circumvent these issues when knowledge of the bias is available. We consider cases where the bias issues may not be explicitly identified, and show a method for training models that learn to ignore these problematic correlations. Our approach relies on the observation that models with limited capacity primarily learn to exploit biases in the dataset. We can leverage the errors of such limited capacity models to train a more robust model in a product of experts, thus bypassing the need to hand-craft a biased model. We show the effectiveness of this method to retain improvements in out-of-distribution settings even if no particular bias is targeted by the biased model.
• Abstract（参考訳）: 最先端自然言語処理(nlp)モデルは、対象とするタスクを対象とする機能ではなく、データセットバイアスや表面フォーム相関をモデル化することを学びます。 前回の研究では、バイアスの知識が利用できる場合に、これらの問題を回避できる効果的な方法が示されている。 バイアス問題を明示的に特定できないケースを考察し、これらの問題のある相関を無視することを学ぶモデルを訓練する方法を示す。 我々のアプローチは、限られたキャパシティを持つモデルが主にデータセットのバイアスを悪用することを学ぶという観察に依存している。 このような限られたキャパシティモデルのエラーを利用して、専門家の製品でより堅牢なモデルをトレーニングし、バイアスのあるモデルを手作りする必要性を回避できます。 本手法は,偏りのあるモデルに特定のバイアスが当てはまらない場合でも,分布外設定の改善を維持するための効果を示す。

関連論文リスト

• Addressing Bias Through Ensemble Learning and Regularized Fine-Tuning [0.2812395851874055]
  本稿では,AIモデルのバイアスを取り除くために,複数の手法を用いた包括的アプローチを提案する。 我々は、データ分割、局所訓練、正規化ファインチューニングを通じて、事前訓練されたモデルのカウンターバイアスで複数のモデルを訓練する。 我々は、単一のバイアスのないニューラルネットワークをもたらす知識蒸留を用いて、ソリューションを結論付けている。
  論文  参考訳（メタデータ） (2024-02-01T09:24:36Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Fighting Bias with Bias: Promoting Model Robustness by Amplifying Dataset Biases [5.997909991352044]
  最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルを開発することを試みた。 このようなフィルタリングは、バイアスを克服するモデルの真の能力を曖昧にする可能性がある、と私たちは主張する。 バイアス増幅トレーニングセットとバイアス防止テストセットで定義された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-05-30T10:10:42Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Don't Discard All the Biased Instances: Investigating a Core Assumption in Dataset Bias Mitigation Techniques [19.252319300590656]
  データセットバイアスを緩和する既存のテクニックは、バイアス付きモデルを利用してバイアス付きインスタンスを識別することが多い。 これらの偏りのあるインスタンスの役割は、メインモデルのトレーニング中に減少し、アウト・オブ・ディストリビューションデータに対するロバスト性を高める。 本稿では,この仮定が一般には成り立たないことを示す。
  論文  参考訳（メタデータ） (2021-09-01T10:25:46Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。