論文の概要: Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance
- arxiv url: http://arxiv.org/abs/2005.00315v1
- Date: Fri, 1 May 2020 11:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 23:46:44.955564
- Title: Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance
- Title（参考訳）: トレードオフを忘れる - 分散性能を損なうことなくNLUモデルを損なう
- Authors: Prasetya Ajie Utama, Nafise Sadat Moosavi, Iryna Gurevych
- Abstract要約: 信頼性正則化という新しいデバイアス化手法を導入する。
モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 70.31427277842239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Models for natural language understanding (NLU) tasks often rely on the
idiosyncratic biases of the dataset, which make them brittle against test cases
outside the training distribution. Recently, several proposed debiasing methods
are shown to be very effective in improving out-of-distribution performance.
However, their improvements come at the expense of performance drop when models
are evaluated on the in-distribution data, which contain examples with higher
diversity. This seemingly inevitable trade-off may not tell us much about the
changes in the reasoning and understanding capabilities of the resulting models
on broader types of examples beyond the small subset represented in the
out-of-distribution data. In this paper, we address this trade-off by
introducing a novel debiasing method, called confidence regularization, which
discourage models from exploiting biases while enabling them to receive enough
incentive to learn from all the training examples. We evaluate our method on
three NLU tasks and show that, in contrast to its predecessors, it improves the
performance on out-of-distribution datasets (e.g., 7pp gain on HANS dataset)
while maintaining the original in-distribution accuracy.
- Abstract（参考訳）: 自然言語理解(NLU)タスクのモデルは、しばしばデータセットの慣用的バイアスに依存するため、トレーニング分布外のテストケースに対して脆弱である。
近年, 分散性能向上に有効な脱バイアス法がいくつか提案されている。
しかし、その改善は、より多様性のある例を含む分散データ上でモデルが評価されると、パフォーマンス低下の犠牲になる。
この一見避けられないトレードオフは、アウト・オブ・ディストリビューション・データで表現された小さなサブセットを超えて、より広いタイプの例における結果モデルの推論と理解能力の変更についてはあまり教えてくれないかもしれない。
本稿では,モデルがバイアスを悪用し,トレーニング例から十分なインセンティブを得られるようにする,信頼度正規化と呼ばれる新しいデバイアス手法を導入することで,このトレードオフに対処する。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,従来の分布内精度を維持しつつ,分布外データセット(HANSデータセットの7ppゲインなど)の性能を向上させることを示す。
関連論文リスト
- Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳（メタデータ） (2023-11-28T16:46:14Z) - Guide the Learner: Controlling Product of Experts Debiasing Method Based
on Token Attribution Similarities [17.082695183953486]
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
論文 参考訳（メタデータ） (2023-02-06T15:21:41Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-11T06:16:14Z) - Empirical Study on Optimizer Selection for Out-of-Distribution
Generalization [16.386766049451317]
現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。
本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
論文 参考訳（メタデータ） (2022-11-15T23:56:30Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - End-to-End Self-Debiasing Framework for Robust NLU Training [8.344476599818826]
本稿では,本モデルの浅い表現をバイアスモデルから導出する,単純で効果的なデバイアス化フレームワークを提案する。
我々は3つのよく研究されたNLUタスクについて,その単純さにもかかわらず,本手法が競合するOOD結果につながることを実証した。
論文 参考訳（メタデータ） (2021-09-05T13:20:31Z) - Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。
本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-25T15:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。