論文の概要: Undersensitivity in Neural Reading Comprehension

• arxiv url: http://arxiv.org/abs/2003.04808v1
• Date: Sat, 15 Feb 2020 19:03:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 22:45:18.577143
• Title: Undersensitivity in Neural Reading Comprehension
• Title（参考訳）: 神経読解における過敏性
• Authors: Johannes Welbl, Pasquale Minervini, Max Bartolo, Pontus Stenetorp, Sebastian Riedel
• Abstract要約: 現在の読書理解モデルは、分布内テストセットによく一般化するが、敵対的に選択された入力では不十分である。 本稿では,入力テキストが有意に変化するが,モデルの予測は行わない,過度な予測過敏性の相補的問題に焦点をあてる。 モデルが同じ答えを誤って予測する問題の意味的バリエーションの中から探索するノイズの多い逆攻撃を定式化する。
• 参考スコア（独自算出の注目度）: 36.142792758501706
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current reading comprehension models generalise well to in-distribution test sets, yet perform poorly on adversarially selected inputs. Most prior work on adversarial inputs studies oversensitivity: semantically invariant text perturbations that cause a model's prediction to change when it should not. In this work we focus on the complementary problem: excessive prediction undersensitivity, where input text is meaningfully changed but the model's prediction does not, even though it should. We formulate a noisy adversarial attack which searches among semantic variations of the question for which a model erroneously predicts the same answer, and with even higher probability. Despite comprising unanswerable questions, both SQuAD2.0 and NewsQA models are vulnerable to this attack. This indicates that although accurate, models tend to rely on spurious patterns and do not fully consider the information specified in a question. We experiment with data augmentation and adversarial training as defences, and find that both substantially decrease vulnerability to attacks on held out data, as well as held out attack spaces. Addressing undersensitivity also improves results on AddSent and AddOneSent, and models furthermore generalise better when facing train/evaluation distribution mismatch: they are less prone to overly rely on predictive cues present only in the training set, and outperform a conventional model by as much as 10.9% F1.
• Abstract（参考訳）: 現在の読書理解モデルは、分布内テストセットによく一般化するが、敵対的に選択された入力では不十分である。 敵対的インプットに関するほとんどの先行研究は、過敏性(oversensitivity: semantically invariant text perturbation)の研究を行っている。 本研究は,入力テキストが有意に変化するが,モデルが予測できない過度な予測過敏性という相補的問題に焦点をあてる。 我々は、モデルが同じ答えを誤って予測し、さらに高い確率で予測する問題のセマンティックなバリエーションの中から探索するノイズの多い逆攻撃を定式化する。 SQuAD2.0とNewsQAモデルの両方がこの攻撃に対して脆弱である。 これは、正確ではあるが、モデルは素早いパターンに依存し、質問で指定された情報を十分に考慮していないことを示している。 防御としてデータ拡張と敵意トレーニングを実験し、共に保持されたデータに対する攻撃に対する脆弱性を大幅に減少させ、攻撃空間を保持できることを見出した。 過敏性に対処することで、加算と加算の結果も改善され、さらに列車/評価分布のミスマッチに直面した際にモデルがより一般化する: 彼らはトレーニングセットにのみ存在する予測的手がかりに過度に頼らず、従来のモデルよりも10.9%のf1よりも優れています。

関連論文リスト

• PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis [2.5347892611213614]
  分類のためのディープニューラルネットワークは、サンプル入力に対する小さな摂動が誤った予測につながる敵攻撃に対して脆弱である。 本研究では, モデル予測と特徴属性のこの特性の実用的手法を開発し, 対向サンプルを検出する。 本手法は,敵が防御機構を認識した場合でも,競争性能を示す。
  論文  参考訳（メタデータ） (2024-04-12T21:22:21Z)
• Adversarial Attacks Against Uncertainty Quantification [10.655660123083607]
  この研究は、攻撃者が依然として不確実性推定を操作することに興味を持つ異なる敵シナリオに焦点を当てる。 特に、アウトプットが下流モジュールや人間のオペレータによって消費される場合、機械学習モデルの使用を損なうことが目標である。
  論文  参考訳（メタデータ） (2023-09-19T12:54:09Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Black-box Adversarial Attacks on Network-wide Multi-step Traffic State Prediction Models [4.353029347463806]
  予測モデルをブラックボックスとして扱うことで,敵攻撃の枠組みを提案する。 相手は任意の入力で予測モデルを導出し、対応する出力を得る。 攻撃の有効性を検証するため,グラフニューラルネットワークベースモデル(GCGRNNとDCRNN)の2つの状態について検討した。
  論文  参考訳（メタデータ） (2021-10-17T03:45:35Z)
• Tribrid: Stance Classification with Neural Inconsistency Detection [9.150728831518459]
  本稿では,BERTなどのニューラルアーキテクチャを用いたソーシャルメディア上での自動姿勢分類を行う際の課題について検討する。 提案するニューラルアーキテクチャでは,任意のクレームに対して自動生成された否定的視点も含んでいる。 モデルは同時に複数の予測を行うように共同で学習され、元の視点の分類を改善するか、疑わしい予測をフィルタリングするために使用することができる。
  論文  参考訳（メタデータ） (2021-09-14T08:13:03Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy [85.20742045853738]
  CNNは敵の攻撃に弱いことが広く知られている。 本稿では,対人訓練モデルのクラスワイド精度とロバスト性に関する実証的研究を提案する。 トレーニングデータセットが各クラスに同じ数のサンプルを持つ場合でも,精度と堅牢性にはクラス間差があることが判明した。
  論文  参考訳（メタデータ） (2020-10-26T06:32:32Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。