Fugu-MT 論文翻訳(概要): Elastic weight consolidation for better bias inoculation

論文の概要: Elastic weight consolidation for better bias inoculation

arxiv url: http://arxiv.org/abs/2004.14366v2
Date: Thu, 4 Feb 2021 10:57:26 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 12:48:42.761992
Title: Elastic weight consolidation for better bias inoculation
Title（参考訳）: より良いバイアス接種のための弾性重み強化
Authors: James Thorne, Andreas Vlachos
Abstract要約: EWC(Elastic Weight Consolidation)は、モデルの微調整によってバイアスを緩和する。 EWCは標準的な微調整を支配し、元の(バイアス付き)データセットを忘れるレベルの低いモデルを生成する。
参考スコア（独自算出の注目度）: 24.12790037712358
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The biases present in training datasets have been shown to affect models for sentence pair classification tasks such as natural language inference (NLI) and fact verification. While fine-tuning models on additional data has been used to mitigate them, a common issue is that of catastrophic forgetting of the original training dataset. In this paper, we show that elastic weight consolidation (EWC) allows fine-tuning of models to mitigate biases while being less susceptible to catastrophic forgetting. In our evaluation on fact verification and NLI stress tests, we show that fine-tuning with EWC dominates standard fine-tuning, yielding models with lower levels of forgetting on the original (biased) dataset for equivalent gains in accuracy on the fine-tuning (unbiased) dataset.
Abstract（参考訳）: 訓練データセットに存在するバイアスは、自然言語推論(NLI)や事実検証などの文対分類タスクのモデルに影響を与えることが示されている。追加データに対する微調整モデルはそれらを緩和するために使用されているが、一般的な問題は、元のトレーニングデータセットを壊滅的に忘れることである。本稿では, 弾性重心化(EWC)により, 模型の微調整によるバイアス軽減が可能であり, 破滅的忘れ込みに対する感受性が低いことを示す。事実検証とNLIストレステストの評価では、EWCを用いた微調整が標準微調整を支配しており、元の(バイアス付き)データセットを低レベルの低レベルなモデルで、微調整(バイアス付き)データセットの精度を同等に向上することを示した。

関連論文リスト

Does Data-Efficient Generalization Exacerbate Bias in Foundation Models? [2.298227866545911]
ファンデーションモデルは、様々なドメインでラベル効率を持つ堅牢なモデルとして登場した。事前学習中に機密属性の存在に偏った大量のラベル付きデータを使用することが、モデルの公平性に影響を与えるかどうかは不明である。本研究は,ブラジルの多ラベル眼科学データセットを微調整する際のファンデーションモデルのバイアスについて検討する。
論文参考訳（メタデータ） (2024-08-28T22:14:44Z)
Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文参考訳（メタデータ） (2024-05-28T20:43:53Z)
Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models [31.84120883461332]
我々は、微調整に基づく要約モデルの頑健さと知識衝突を解析する。本稿では,制御可能な対実データ拡張手法を提案する。
論文参考訳（メタデータ） (2024-02-23T07:53:39Z)
Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文参考訳（メタデータ） (2024-02-17T10:34:53Z)
Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
論文参考訳（メタデータ） (2023-10-12T08:01:11Z)
Fighting Bias with Bias: Promoting Model Robustness by Amplifying Dataset Biases [5.997909991352044]
最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルを開発することを試みた。このようなフィルタリングは、バイアスを克服するモデルの真の能力を曖昧にする可能性がある、と私たちは主張する。バイアス増幅トレーニングセットとバイアス防止テストセットで定義された評価フレームワークを導入する。
論文参考訳（メタデータ） (2023-05-30T10:10:42Z)
Overwriting Pretrained Bias with Finetuning Data [36.050345384273655]
目的タスクと機密属性の相互関係を概念化した場合のバイアスや,データセット内の特定のグループを過小評価する場合のバイアスについて検討する。事前訓練されたモデルの上に微調整されたモデルは、実際にそれらのバイアスを継承できるが、(2)このバイアスは、比較的小さな介入によって修正できる。その結果、下流タスクのバイアスを軽減するためには、微調整データセットの慎重なキュレーションが重要であることが示唆され、事前訓練されたモデルのバイアスを補うこともできる。
論文参考訳（メタデータ） (2023-03-10T19:10:58Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文参考訳（メタデータ） (2022-12-11T06:16:14Z)
Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
論文参考訳（メタデータ） (2022-06-07T20:47:07Z)
Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。