論文の概要: Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation

• arxiv url: http://arxiv.org/abs/2205.12593v2
• Date: Thu, 22 Jun 2023 13:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 18:22:55.318419
• Title: Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation
• Title（参考訳）: less learn shortcut: 散発的特徴ラベル相関の学習の分析と緩和
• Authors: Yanrui Du, Jing Yan, Yan Chen, Jing Liu, Sendong Zhao, Qiaoqiao She, Hua Wu, Haifeng Wang, Bing Qin
• Abstract要約: ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
• 参考スコア（独自算出の注目度）: 44.319739489968164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has revealed that deep neural networks often take dataset biases as a shortcut to make decisions rather than understand tasks, leading to failures in real-world applications. In this study, we focus on the spurious correlation between word features and labels that models learn from the biased data distribution of training data. In particular, we define the word highly co-occurring with a specific label as biased word, and the example containing biased word as biased example. Our analysis shows that biased examples are easier for models to learn, while at the time of prediction, biased words make a significantly higher contribution to the models' predictions, and models tend to assign predicted labels over-relying on the spurious correlation between words and labels. To mitigate models' over-reliance on the shortcut (i.e. spurious correlation), we propose a training strategy Less-Learn-Shortcut (LLS): our strategy quantifies the biased degree of the biased examples and down-weights them accordingly. Experimental results on Question Matching, Natural Language Inference and Sentiment Analysis tasks show that LLS is a task-agnostic strategy and can improve the model performance on adversarial data while maintaining good performance on in-domain data.
• Abstract（参考訳）: 近年の研究では、深層ニューラルネットワークは、タスクを理解するよりも、意思決定の近道としてデータセットバイアスを取ることが多く、現実のアプリケーションでは障害が発生する。 本研究では,学習データのバイアスデータ分布からモデルが学習する単語の特徴とラベルとの素早い相関に着目した。 特に、特定のラベルと高度に共起する単語をバイアス付き単語と定義し、バイアス付き単語をバイアス付き例と定義する。 分析の結果,偏りのある例はモデルにとって学習しやすいが,バイアスのある単語はモデルの予測に著しく寄与する傾向にあり,予測されたラベルは単語とラベルの間のスプリアスな相関に基づいて過剰に割り当てられる傾向がみられた。 モデルがショートカットに過度に依存することを緩和するため(即ち急激な相関)、我々はLear-Learn-Shortcut (LLS) を訓練戦略として提案する。 質問マッチング,自然言語推論,感性分析タスクの実験結果から,LSSはタスクに依存しない戦略であり,ドメイン内データの良好な性能を維持しつつ,敵データに対するモデル性能を向上させることができることが示された。

関連論文リスト

• Model Debiasing by Learnable Data Augmentation [19.625915578646758]
  本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。 合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:19:59Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning [15.68462203989933]
  スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。 より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-20T16:20:56Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating Spurious Correlations in Entity Typing [29.820473012776283]
  既存のエンティティ型付けモデルは、素早い相関の問題に直面している。 既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。 オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
  論文  参考訳（メタデータ） (2022-05-25T10:34:22Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。