論文の概要: Less is Better: Recovering Intended-Feature Subspace to Robustify NLU
Models
- arxiv url: http://arxiv.org/abs/2209.07879v1
- Date: Fri, 16 Sep 2022 12:14:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 11:41:48.720015
- Title: Less is Better: Recovering Intended-Feature Subspace to Robustify NLU
Models
- Title(参考訳): 改善点:NLUモデルのロバスト化のために意図されたサブスペースを復元する
- Authors: Ting Wu and Tao Gui
- Abstract要約: 現在のデバイアス法はバイアス特性の知識に過度に依存している。
知識自由を用いた新しいモデル「Recovering Intended-Feature Subspace with Knowledge-Free (RISK)」を開発した。
- 参考スコア(独自算出の注目度): 16.693441490923675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Datasets with significant proportions of bias present threats for training a
trustworthy model on NLU tasks. Despite yielding great progress, current
debiasing methods impose excessive reliance on the knowledge of bias
attributes. Definition of the attributes, however, is elusive and varies across
different datasets. Furthermore, leveraging these attributes at input level to
bias mitigation may leave a gap between intrinsic properties and the underlying
decision rule. To narrow down this gap and liberate the supervision on bias, we
suggest extending bias mitigation into feature space. Therefore, a novel model,
Recovering Intended-Feature Subspace with Knowledge-Free (RISK) is developed.
Assuming that shortcut features caused by various biases are unintended for
prediction, RISK views them as redundant features. When delving into a lower
manifold to remove redundancies, RISK reveals that an extremely low-dimensional
subspace with intended features can robustly represent the highly biased
dataset. Empirical results demonstrate our model can consistently improve model
generalization to out-of-distribution set, and achieves a new state-of-the-art
performance.
- Abstract(参考訳): バイアスのかなりの割合のデータセットは、NLUタスク上で信頼できるモデルをトレーニングするための脅威となる。
大きく進歩したにもかかわらず、現在のデバイアス法はバイアス属性の知識に過度に依存する。
しかしながら、属性の定義は分かりやすく、さまざまなデータセットにまたがって異なる。
さらに、これらの属性を入力レベルでバイアス緩和に利用することで、本質的な特性と根底にある決定規則のギャップを埋めることができる。
このギャップを狭め、バイアスに関する監督を解放するために、バイアス緩和を機能空間に拡張することを提案します。
そこで、知識のない部分空間(risk)を復元する新しいモデルを開発した。
様々なバイアスに起因するショートカット機能が予測に意図されないと仮定すると、RISKはそれらを冗長な特徴と見なしている。
冗長性を取り除くために下層多様体を掘り下げるとき、リスクは、意図された特徴を持つ非常に低次元の部分空間が、高度に偏ったデータセットをロバストに表現できることを明らかにする。
実験結果から,本モデルは分散集合に対するモデルの一般化を一貫して改善し,新たな最先端性能を実現することを実証した。
関連論文リスト
- Mitigating Nonlinear Algorithmic Bias in Binary Classification [0.0]
本稿では,保護属性の非線形なバイアスの検出と緩和に因果モデリングを用いることを提案する。
若年者では「低リスク」と正しく分類される可能性が低いことを示す。
適応因果モデルに基づいて、偏り確率推定を計算し、全体の精度にほとんど影響を与えずに、公正性の向上を示す。
論文 参考訳(メタデータ) (2023-12-09T01:26:22Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳(メタデータ) (2023-10-14T13:56:24Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳(メタデータ) (2022-10-24T13:04:07Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。
モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文 参考訳(メタデータ) (2020-05-01T11:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。