論文の概要: Causally Estimating the Sensitivity of Neural NLP Models to Spurious Features

• arxiv url: http://arxiv.org/abs/2110.07159v1
• Date: Thu, 14 Oct 2021 05:26:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 14:00:36.969764
• Title: Causally Estimating the Sensitivity of Neural NLP Models to Spurious Features
• Title（参考訳）: 純粋特徴に対するニューラルNLPモデルの感度の因果推定
• Authors: Yunxiang Zhang, Liangming Pan, Samson Tan, Min-Yen Kan
• Abstract要約: NLPにおける異なる形態の突発性特徴の効果を評価・比較する手段はない。 我々は,CENTと呼ばれる因果推定値を用いて,刺激性特徴に対するモデル感度を定量化する。 感度と頑健性の間に統計的に有意な逆相関が見られ、仮説を実証的に支持する。
• 参考スコア（独自算出の注目度）: 19.770032728328733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work finds modern natural language processing (NLP) models relying on spurious features for prediction. Mitigating such effects is thus important. Despite this need, there is no quantitative measure to evaluate or compare the effects of different forms of spurious features in NLP. We address this gap in the literature by quantifying model sensitivity to spurious features with a causal estimand, dubbed CENT, which draws on the concept of average treatment effect from the causality literature. By conducting simulations with four prominent NLP models -- TextRNN, BERT, RoBERTa and XLNet -- we rank the models against their sensitivity to artificial injections of eight spurious features. We further hypothesize and validate that models that are more sensitive to a spurious feature will be less robust against perturbations with this feature during inference. Conversely, data augmentation with this feature improves robustness to similar perturbations. We find statistically significant inverse correlations between sensitivity and robustness, providing empirical support for our hypothesis.
• Abstract（参考訳）: 最近の研究は、予測のために急激な特徴に依存する現代の自然言語処理(NLP)モデルを見つける。 このような効果を緩和することが重要である。 この必要性にもかかわらず、nlpのスプリアスの特徴の異なる形態の効果を評価または比較するための定量的な尺度は存在しない。 我々は、因果関係の文献から平均治療効果の概念を導いた因果推定器CENTを用いて、突発的特徴に対するモデル感度を定量化し、文献におけるこのギャップに対処する。 4つの著名なNLPモデル(TextRNN、BERT、RoBERTa、XLNet)でシミュレーションを行うことで、これらのモデルを8つの突発的な特徴を持つ人工注射に対する感度に対してランク付けする。 さらに私たちは、スプリアス機能に敏感なモデルが推論中にこの機能の摂動に対して頑健でないことを仮定し、検証します。 逆に、この機能によるデータ拡張は、同様の摂動に対するロバスト性を改善する。 感度と頑健性の間に統計的に有意な逆相関が見られ、仮説を実証的に支持する。

関連論文リスト

• The Impact of Quantization on the Robustness of Transformer-based Text Classifiers [5.281054432963503]
  この研究は、NLPモデルのロバスト性に対する量子化の最初の応用である。 SST-2, Emotion, MRデータセットを用いたテキスト分類において, BERT モデルと DistilBERT モデルに対する量子化の影響を評価する。 実験の結果, 量子化は, 対向訓練と比較して平均18.80%の頑健さを増大させることがわかった。
  論文  参考訳（メタデータ） (2024-03-08T14:55:05Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels [14.186776881154127]
  本稿では、ランダム特徴とニューラル・タンジェント・カーネル(NTK)の2つの設定における経験的リスク最小化に焦点を当てた。 ランダムな特徴に対して、モデルが任意のパラメータ化の度合いに対してロバストであることは、普遍的ロバスト性法則から生じる必要条件が満たされている場合でも証明する。 本研究の結果は, 合成および標準原型データセットの数値的証拠によって裏付けられている。
  論文  参考訳（メタデータ） (2023-02-03T09:58:31Z)
• Improving Prediction of Cognitive Performance using Deep Neural Networks in Sparse Data [2.867517731896504]
  MIDUS(Midlife in the United States)の観察・コホート研究から得られたデータを用いて,エグゼクティブ機能とエピソード記憶測定をモデル化した。 ディープニューラルネットワーク(DNN)モデルは、認知パフォーマンス予測タスクの中で一貫して最高である。
  論文  参考訳（メタデータ） (2021-12-28T22:23:08Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Balancing Robustness and Sensitivity using Feature Contrastive Learning [95.86909855412601]
  堅牢性を促進する方法は、希少なパターンや表現不足パターンに対するモデルの感受性を損なう可能性がある。 本稿では,より高次文脈的有用性を持つ機能に対して,モデルにより敏感な特徴を与える機能コントラスト学習(FCL)を提案する。
  論文  参考訳（メタデータ） (2021-05-19T20:53:02Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Removing Spurious Features can Hurt Accuracy and Affect Groups Disproportionately [83.68135652247496]
  自然な修正は、モデルからスプリアスな特徴を取り除くことである。 誘導バイアスによる突発的特徴の除去は精度を低下させる可能性が示唆された。 また,ロバストな自己学習によって,全体的な正確性に影響を与えずにスプリアスな特徴を除去できることを示した。
  論文  参考訳（メタデータ） (2020-12-07T23:08:59Z)
• One Neuron to Fool Them All [12.107259467873094]
  我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。 単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
  論文  参考訳（メタデータ） (2020-03-20T16:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。