論文の概要: An Empirical Study on Model-agnostic Debiasing Strategies for Robust
Natural Language Inference
- arxiv url: http://arxiv.org/abs/2010.03777v2
- Date: Sat, 17 Oct 2020 14:57:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 11:04:09.931323
- Title: An Empirical Study on Model-agnostic Debiasing Strategies for Robust
Natural Language Inference
- Title(参考訳): 頑健な自然言語推論のためのモデル非依存デバイアス戦略に関する実証的研究
- Authors: Tianyu Liu, Xin Zheng, Xiaoan Ding, Baobao Chang and Zhifang Sui
- Abstract要約: 我々は、モデルに依存しないデバイアス戦略に注目し、NLIモデルを複数の敵攻撃に対して堅牢にする方法を探る。
最初のベンチマークでは、様々な逆数データセット上の事前学習を含むニューラルNLIモデルについてベンチマークを行った。
次に、専門家(MoE)アンサンブルの混合法を変更することで、既知のバイアスに対処する。
- 参考スコア(独自算出の注目度): 37.420864237437804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The prior work on natural language inference (NLI) debiasing mainly targets
at one or few known biases while not necessarily making the models more robust.
In this paper, we focus on the model-agnostic debiasing strategies and explore
how to (or is it possible to) make the NLI models robust to multiple distinct
adversarial attacks while keeping or even strengthening the models'
generalization power. We firstly benchmark prevailing neural NLI models
including pretrained ones on various adversarial datasets. We then try to
combat distinct known biases by modifying a mixture of experts (MoE) ensemble
method and show that it's nontrivial to mitigate multiple NLI biases at the
same time, and that model-level ensemble method outperforms MoE ensemble
method. We also perform data augmentation including text swap, word
substitution and paraphrase and prove its efficiency in combating various
(though not all) adversarial attacks at the same time. Finally, we investigate
several methods to merge heterogeneous training data (1.35M) and perform model
ensembling, which are straightforward but effective to strengthen NLI models.
- Abstract(参考訳): 自然言語推論(nli)の先行研究は、モデルをより堅牢にする必要はないが、主に1つまたは少数の既知のバイアスをターゲットにしている。
本稿では,モデル非依存のデバイアス戦略に着目し,nliモデルを複数の異なる敵の攻撃に対して頑健にする方法と,モデルの一般化力を維持・強化する方法を検討する。
まず、様々な逆数データセット上の事前学習を含むニューラルネットワークNLIモデルをベンチマークする。
次に,複数のNLIバイアスを同時に緩和することは容易ではないことを示すとともに,モデルレベルのアンサンブル法がMoEアンサンブル法より優れていることを示す。
また、テキストスワップ、単語置換、パラフレーズを含むデータ拡張を行い、同時に様々な(すべてではないが)敵対的攻撃に対処するための効率性を証明する。
最後に,NLIモデルの強化に有効な,異種訓練データ(1.35M)をマージし,モデルアンサンブルを行う手法について検討する。
関連論文リスト
- Addressing Bias Through Ensemble Learning and Regularized Fine-Tuning [0.2812395851874055]
本稿では,AIモデルのバイアスを取り除くために,複数の手法を用いた包括的アプローチを提案する。
我々は、データ分割、局所訓練、正規化ファインチューニングを通じて、事前訓練されたモデルのカウンターバイアスで複数のモデルを訓練する。
我々は、単一のバイアスのないニューラルネットワークをもたらす知識蒸留を用いて、ソリューションを結論付けている。
論文 参考訳(メタデータ) (2024-02-01T09:24:36Z) - Leveraging Biases in Large Language Models: "bias-kNN'' for Effective
Few-Shot Learning [36.739829839357995]
本研究では, バイアスkNN'という新しい手法を紹介する。
このアプローチはバイアスのある出力を生かし、それらをkNNの主要な特徴として利用し、金のラベルを補足する。
多様なドメインテキスト分類データセットと異なるGPT-2モデルサイズにまたがる包括的評価は、バイアス-kNN'法の適用性と有効性を示している。
論文 参考訳(メタデータ) (2024-01-18T08:05:45Z) - Multi-Set Inoculation: Assessing Model Robustness Across Multiple
Challenge Sets [48.94926373895036]
本稿では,入力摂動が異なるスケールの言語モデルに与える影響を研究する枠組みを提案する。
一方の摂動への曝露が他の摂動に対するモデルの性能を向上させるか、劣化させるかを検討する。
提案手法は,与えられたデータセットの精度を損なうことなく,異なる摂動に頑健にモデルを訓練することを示す。
論文 参考訳(メタデータ) (2023-11-15T02:59:10Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳(メタデータ) (2023-07-07T08:19:40Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳(メタデータ) (2022-12-20T14:06:50Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳(メタデータ) (2022-03-18T01:12:18Z) - Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood
Ensemble [163.3333439344695]
Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。
DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。
我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-20T18:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。