論文の概要: Debiasing Masks: A New Framework for Shortcut Mitigation in NLU
- arxiv url: http://arxiv.org/abs/2210.16079v1
- Date: Fri, 28 Oct 2022 11:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 16:06:34.585663
- Title: Debiasing Masks: A New Framework for Shortcut Mitigation in NLU
- Title（参考訳）: Debiasing Masks: NLUにおけるショートカット緩和のための新しいフレームワーク
- Authors: Johannes Mario Meissner, Saku Sugawara, Akiko Aizawa
- Abstract要約: 自然言語理解タスクにおける望ましくない振る舞いから言語モデルを逸脱することは、NLPコミュニティへの関心が急速に高まっているトピックである。
そこで本研究では,微調整モデルに適用可能な脱バイアスプルーニングマスクを同定する新しい脱バイアス法を提案する。
- 参考スコア（独自算出の注目度）: 36.46767796417559
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Debiasing language models from unwanted behaviors in Natural Language
Understanding tasks is a topic with rapidly increasing interest in the NLP
community. Spurious statistical correlations in the data allow models to
perform shortcuts and avoid uncovering more advanced and desirable linguistic
features. A multitude of effective debiasing approaches has been proposed, but
flexibility remains a major issue. For the most part, models must be retrained
to find a new set of weights with debiased behavior. We propose a new debiasing
method in which we identify debiased pruning masks that can be applied to a
finetuned model. This enables the selective and conditional application of
debiasing behaviors. We assume that bias is caused by a certain subset of
weights in the network; our method is, in essence, a mask search to identify
and remove biased weights. Our masks show equivalent or superior performance to
the standard counterparts, while offering important benefits. Pruning masks can
be stored with high efficiency in memory, and it becomes possible to switch
among several debiasing behaviors (or revert back to the original biased model)
at inference time. Finally, it opens the doors to further research on how
biases are acquired by studying the generated masks. For example, we observed
that the early layers and attention heads were pruned more aggressively,
possibly hinting towards the location in which biases may be encoded.
- Abstract（参考訳）: 自然言語理解タスクにおける不必要な行動から言語モデルを逸脱することは、nlpコミュニティへの関心が急速に高まる話題である。
データの統計的相関により、モデルはショートカットを実行し、より先進的で望ましい言語的特徴を明らかにすることを避けることができる。
多くの効果的なデバイアスアプローチが提案されているが、柔軟性は依然として大きな問題である。
モデルの大部分は、デバイアスの振る舞いを持つ新しいウェイトセットを見つけるために再トレーニングされなければなりません。
そこで本研究では,微調整モデルに適用可能な脱バイアスプルーニングマスクを同定する新しい脱バイアス法を提案する。
これにより、嫌悪行動の選択的および条件付き適用が可能になる。
バイアスはネットワーク内の特定の重みのサブセットによって引き起こされると仮定し、本手法は本質的にバイアス重みを識別し除去するためのマスク探索である。
私たちのマスクは、標準のマスクと同等または優れたパフォーマンスを示し、重要な利点を提供します。
プルーニングマスクはメモリ内で高い効率で保存することができ、推論時にいくつかの偏りの挙動(または元のバイアスモデルに戻す)に切り替えることができる。
そして最後に、生成されたマスクの研究によってバイアスがどのように獲得されるかについてのさらなる研究の扉を開く。
例えば、初期の層と注意ヘッドはより積極的に刈り取られており、バイアスが符号化される場所に向かっている可能性があると観察した。
関連論文リスト
- Debiasify: Self-Distillation for Unsupervised Bias Mitigation [19.813054813868476]
単純性バイアスはニューラルネットワークにおいて重要な課題となり、しばしばモデルがより単純な解を好んで、急激な相関による決定規則を不注意に学習する。
バイアスの性質に関する事前の知識を必要としない新しい自己蒸留アプローチであるDebiasifyを紹介します。
提案手法は, 複雑で高精度な特徴を含む深い層から, より単純な特性条件を持つ浅層へと, ネットワーク内の知識を伝達するために, 新たな蒸留損失を生かしている。
論文 参考訳（メタデータ） (2024-11-01T16:25:05Z) - CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。
本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。
各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
論文 参考訳（メタデータ） (2024-10-19T13:06:40Z) - Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。
射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
論文 参考訳（メタデータ） (2024-03-27T17:49:31Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。
バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。
本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文 参考訳（メタデータ） (2023-10-13T00:49:09Z) - SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases [27.56143777363971]
本稿では,複数のデータセットのバイアスを効果的かつ効率的に緩和できる分散混合適応器(SMOA)を提案する。
自然言語推論およびパラフレーズ識別タスクの実験は、SMoAがフルファインタニング、アダプタチューニングベースライン、および以前の強いデバイアス法よりも優れていることを示した。
論文 参考訳（メタデータ） (2023-02-28T08:47:20Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z) - Gender Biases and Where to Find Them: Exploring Gender Bias in
Pre-Trained Transformer-based Language Models Using Movement Pruning [32.62430731115707]
本稿では,移動プルーニングによるトランスフォーマーベース言語モデルのバイアス検査のための新しい枠組みを示す。
モデルを微調整しながらデバイアスの対象にすることで、私たちのフレームワークを実装します。
モデルのパフォーマンスが向上すればするほど、バイアスが増します。
論文 参考訳（メタデータ） (2022-07-06T06:20:35Z) - Masksembles for Uncertainty Estimation [60.400102501013784]
ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。
深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。
mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
論文 参考訳（メタデータ） (2020-12-15T14:39:57Z) - How do Decisions Emerge across Layers in Neural Models? Interpretation
with Differentiable Masking [70.92463223410225]
DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。
入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。
これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
論文 参考訳（メタデータ） (2020-04-30T17:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。