論文の概要: Robust Natural Language Understanding with Residual Attention Debiasing
- arxiv url: http://arxiv.org/abs/2305.17627v1
- Date: Sun, 28 May 2023 04:25:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 17:46:59.067559
- Title: Robust Natural Language Understanding with Residual Attention Debiasing
- Title(参考訳): 残意障害を考慮した頑健な自然言語理解
- Authors: Fei Wang, James Y. Huang, Tianyi Yan, Wenxuan Zhou, Muhao Chen
- Abstract要約: 本稿では,意図しないバイアスを注意から軽減するエンド・ツー・エンド・デバイアス手法を提案する。
実験により、READはショートカットを除去したOODデータ上でのBERTベースのモデルの性能を大幅に改善することが示された。
- 参考スコア(独自算出の注目度): 28.53546504339952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language understanding (NLU) models often suffer from unintended
dataset biases. Among bias mitigation methods, ensemble-based debiasing
methods, especially product-of-experts (PoE), have stood out for their
impressive empirical success. However, previous ensemble-based debiasing
methods typically apply debiasing on top-level logits without directly
addressing biased attention patterns. Attention serves as the main media of
feature interaction and aggregation in PLMs and plays a crucial role in
providing robust prediction. In this paper, we propose REsidual Attention
Debiasing (READ), an end-to-end debiasing method that mitigates unintended
biases from attention. Experiments on three NLU tasks show that READ
significantly improves the performance of BERT-based models on OOD data with
shortcuts removed, including +12.9% accuracy on HANS, +11.0% accuracy on
FEVER-Symmetric, and +2.7% F1 on PAWS. Detailed analyses demonstrate the
crucial role of unbiased attention in robust NLU models and that READ
effectively mitigates biases in attention. Code is available at
https://github.com/luka-group/READ.
- Abstract(参考訳): 自然言語理解(NLU)モデルは意図しないデータセットバイアスに悩まされることが多い。
バイアス緩和手法のうち、アンサンブルに基づくデバイアス手法、特にpoe(product-of-experts)は印象的な成功を収めている。
しかしながら、従来のアンサンブルベースのデバイアス手法は、一般的に、バイアスのある注意パターンを直接扱うことなく、トップレベルのロジットにデバイアスを適用する。
注意力はplmにおける機能インタラクションと集約の主要なメディアとなり、堅牢な予測を提供する上で重要な役割を果たす。
本稿では,注意から意図しないバイアスを緩和するエンド・ツー・エンド・デバイアス手法であるresent attention debiasing (read)を提案する。
3つのNLUタスクの実験では、READはショートカットを除去したOODデータ上でのBERTベースのモデルの性能を著しく改善し、HANSでは+12.9%、FEVER-Symmetricでは+11.0%、PAWSでは+2.7%である。
詳細な分析により、ロバストなnluモデルにおける偏りのない注意の重要役割が示され、読解は注意のバイアスを効果的に軽減する。
コードはhttps://github.com/luka-group/readで入手できる。
関連論文リスト
- Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness [10.081447621656523]
言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。
タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。
本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-06T15:11:11Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - Training Unbiased Diffusion Models From Biased Dataset [18.09610829650175]
本稿では,拡散モデルのバイアスを軽減するために,時間依存性の重要度再重み付けを提案する。
時間依存密度比が従来の手法よりも精度が高いことを示す。
スコアマッチングに直接適用することは難解であるが、再重み付けとスコア補正の両方に時間依存密度比を用いることで、目的関数の抽出可能な形式に繋がることがわかった。
論文 参考訳(メタデータ) (2024-03-02T12:06:42Z) - CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing [47.129713744669075]
我々は因果推論の観点からデータセットバイアスの原因を分析する。
本稿では,特徴の粒度からバイアス問題を改善するために,一般化可能なリテラル分離フレームワークCausalAPMを提案する。
論文 参考訳(メタデータ) (2023-05-04T14:22:26Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - InterFair: Debiasing with Natural Language Feedback for Fair
Interpretable Predictions [30.246111670391375]
我々は、視覚的に排除するのではなく、機密情報を「公正に」使うのが好ましいと論じている。
凍結予測モデルを用いて2つのインタラクティブなセットアップを探索し、フィードバックをユーザに提供することで、タスクのパフォーマンスとバイアス軽減のバランスがより良く、より公平になることを示す。
論文 参考訳(メタデータ) (2022-10-14T00:54:12Z) - How Gender Debiasing Affects Internal Model Representations, and Why It
Matters [26.993273464725995]
内因性バイアスは、標準のWEAT測定値よりもデバイアスの指標として優れていることを示す。
当社のフレームワークは,NLPモデルのバイアスを包括的に把握し,より情報のある方法でNLPシステムのデプロイに適用することができる。
論文 参考訳(メタデータ) (2022-04-14T08:54:15Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。
本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-25T15:49:39Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳(メタデータ) (2020-05-10T17:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。