論文の概要: Elastic weight consolidation for better bias inoculation
- arxiv url: http://arxiv.org/abs/2004.14366v2
- Date: Thu, 4 Feb 2021 10:57:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 12:48:42.761992
- Title: Elastic weight consolidation for better bias inoculation
- Title(参考訳): より良いバイアス接種のための弾性重み強化
- Authors: James Thorne, Andreas Vlachos
- Abstract要約: EWC(Elastic Weight Consolidation)は、モデルの微調整によってバイアスを緩和する。
EWCは標準的な微調整を支配し、元の(バイアス付き)データセットを忘れるレベルの低いモデルを生成する。
- 参考スコア(独自算出の注目度): 24.12790037712358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The biases present in training datasets have been shown to affect models for
sentence pair classification tasks such as natural language inference (NLI) and
fact verification. While fine-tuning models on additional data has been used to
mitigate them, a common issue is that of catastrophic forgetting of the
original training dataset. In this paper, we show that elastic weight
consolidation (EWC) allows fine-tuning of models to mitigate biases while being
less susceptible to catastrophic forgetting. In our evaluation on fact
verification and NLI stress tests, we show that fine-tuning with EWC dominates
standard fine-tuning, yielding models with lower levels of forgetting on the
original (biased) dataset for equivalent gains in accuracy on the fine-tuning
(unbiased) dataset.
- Abstract(参考訳): 訓練データセットに存在するバイアスは、自然言語推論(NLI)や事実検証などの文対分類タスクのモデルに影響を与えることが示されている。
追加データに対する微調整モデルはそれらを緩和するために使用されているが、一般的な問題は、元のトレーニングデータセットを壊滅的に忘れることである。
本稿では, 弾性重心化(EWC)により, 模型の微調整によるバイアス軽減が可能であり, 破滅的忘れ込みに対する感受性が低いことを示す。
事実検証とNLIストレステストの評価では、EWCを用いた微調整が標準微調整を支配しており、元の(バイアス付き)データセットを低レベルの低レベルなモデルで、微調整(バイアス付き)データセットの精度を同等に向上することを示した。
関連論文リスト
- Entity-level Factual Adaptiveness of Fine-tuning based Abstractive
Summarization Models [31.84120883461332]
我々は、微調整に基づく要約モデルの頑健さと知識衝突を解析する。
本稿では,制御可能な対実データ拡張手法を提案する。
論文 参考訳(メタデータ) (2024-02-23T07:53:39Z) - Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-02-17T10:34:53Z) - Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing
Label Bias in Foundation Models [82.97464914554402]
CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。
微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。
しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
論文 参考訳(メタデータ) (2023-10-12T08:01:11Z) - Fighting Bias with Bias: Promoting Model Robustness by Amplifying
Dataset Biases [5.997909991352044]
最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルを開発することを試みた。
このようなフィルタリングは、バイアスを克服するモデルの真の能力を曖昧にする可能性がある、と私たちは主張する。
バイアス増幅トレーニングセットとバイアス防止テストセットで定義された評価フレームワークを導入する。
論文 参考訳(メタデータ) (2023-05-30T10:10:42Z) - Overwriting Pretrained Bias with Finetuning Data [36.050345384273655]
目的タスクと機密属性の相互関係を概念化した場合のバイアスや,データセット内の特定のグループを過小評価する場合のバイアスについて検討する。
事前訓練されたモデルの上に微調整されたモデルは、実際にそれらのバイアスを継承できるが、(2)このバイアスは、比較的小さな介入によって修正できる。
その結果、下流タスクのバイアスを軽減するためには、微調整データセットの慎重なキュレーションが重要であることが示唆され、事前訓練されたモデルのバイアスを補うこともできる。
論文 参考訳(メタデータ) (2023-03-10T19:10:58Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。
この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。
また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
論文 参考訳(メタデータ) (2022-06-07T20:47:07Z) - NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model
Performance [3.7024660695776066]
データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。
特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。
モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
論文 参考訳(メタデータ) (2021-04-10T12:28:07Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2020-10-23T16:22:05Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳(メタデータ) (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。