論文の概要: More Bang for Your Buck: Natural Perturbation for Robust Question Answering

• arxiv url: http://arxiv.org/abs/2004.04849v2
• Date: Tue, 6 Oct 2020 07:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 01:52:53.383262
• Title: More Bang for Your Buck: Natural Perturbation for Robust Question Answering
• Title（参考訳）: Bang for Your Buck:頑丈な質問に対する自然の誘惑
• Authors: Daniel Khashabi, Tushar Khot, Ashish Sabharwal
• Abstract要約: 全く新しい例のトレーニングセットを構築するための標準アプローチの代替案を提案する。 私たちのアプローチは、まず種子のサンプルを集め、次に人間主導の自然摂動を適用します。 自然摂動が作成に適度に安価である場合、モデルを用いたモデルのトレーニングがより効果的であることに気付きました。
• 参考スコア（独自算出の注目度）: 49.83269677507831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent models have achieved human-level scores on many NLP datasets, we observe that they are considerably sensitive to small changes in input. As an alternative to the standard approach of addressing this issue by constructing training sets of completely new examples, we propose doing so via minimal perturbation of examples. Specifically, our approach involves first collecting a set of seed examples and then applying human-driven natural perturbations (as opposed to rule-based machine perturbations), which often change the gold label as well. Local perturbations have the advantage of being relatively easier (and hence cheaper) to create than writing out completely new examples. To evaluate the impact of this phenomenon, we consider a recent question-answering dataset (BoolQ) and study the benefit of our approach as a function of the perturbation cost ratio, the relative cost of perturbing an existing question vs. creating a new one from scratch. We find that when natural perturbations are moderately cheaper to create, it is more effective to train models using them: such models exhibit higher robustness and better generalization, while retaining performance on the original BoolQ dataset.
• Abstract（参考訳）: 最近のモデルは多数のnlpデータセットで人間レベルのスコアを達成しているが、入力の小さな変化にかなり敏感である。 全く新しい例のトレーニングセットを構築することでこの問題に対処する標準的なアプローチの代替として、サンプルの摂動を最小限に抑えることを提案する。 特に当社のアプローチでは、まずシードサンプルのセットを収集し、次に(ルールベースのマシンの摂動とは対照的に)人間主導の自然摂動を適用することで、ゴールドラベルも変更します。 ローカルな摂動は、完全に新しい例を書くよりも作成が比較的簡単(従って安い)であることの利点がある。 この現象の影響を評価するために,最近の質問応答データセット(boolq)を考察し,摂動コスト比の関数として,既存の質問を摂動する相対コストとゼロから新しい質問を作成することの利点について考察する。 自然摂動が適度に安価に作成できる場合、これらのモデルを使用してモデルをトレーニングすることはより効果的である:そのようなモデルは、元のBoolQデータセットのパフォーマンスを維持しながら、より堅牢性とより良い一般化を示す。

関連論文リスト

• Reducing Bias in Pre-trained Models by Tuning while Penalizing Change [8.862970622361747]
  大量のデータに基づいてトレーニングされた深層モデルには、トレーニング期間中に存在する暗黙のバイアスが組み込まれていることが多い。 新しいデータは、しばしば高価で、自律運転や医療意思決定のような分野では入手が困難である。 本稿では,事前学習モデルを用いて,事前検出したバイアスを軽減するために重みを適応する変化ペナライゼーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T16:12:38Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• SCENE: Self-Labeled Counterfactuals for Extrapolating to Negative Examples [23.77077091225583]
  SCENE(Self-labeled Counterfactuals for Extrapolating to Negative Examples)は、学習データを自動合成する手法である。 SCENEは、答え可能なトレーニング例のみにアクセスすることで、SQuAD 2.0のパフォーマンスギャップの69.6%を埋めることができる。
  論文  参考訳（メタデータ） (2023-05-13T19:30:58Z)
• Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
  このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。 また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
  論文  参考訳（メタデータ） (2023-02-17T19:48:11Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Adversarially Robust Classifier with Covariate Shift Adaptation [25.39995678746662]
  既存の敵の訓練されたモデルは通常、テスト例に対して互いに独立して推論を行う。 単純な適応バッチ正規化(BN)技術は、ランダムな摂動に対してこれらのモデルのロバスト性を大幅に向上させることができることを示す。 さらに,適応BN手法は,敵攻撃に対する性能を高めつつも,一般的な汚職に対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-02-09T19:51:56Z)
• Towards Understanding the Regularization of Adversarial Robustness on Neural Networks [46.54437309608066]
  正規化の観点から, 劣化について検討する。 私たちは、信頼性の低いソリューションに対してNNを正規化/バイアス化することで、ARが実現されていることに気付きました。
  論文  参考訳（メタデータ） (2020-11-15T08:32:09Z)
• Effective Distant Supervision for Temporal Relation Extraction [49.20329405920023]
  新しい領域における時間的関係抽出モデルを訓練するための主要な障壁は、多様で高品質な例がないことである。 本稿では,時間関係の遠隔管理例を自動的に収集する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-24T03:17:31Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。