論文の概要: More Bang for Your Buck: Natural Perturbation for Robust Question
Answering
- arxiv url: http://arxiv.org/abs/2004.04849v2
- Date: Tue, 6 Oct 2020 07:10:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 01:52:53.383262
- Title: More Bang for Your Buck: Natural Perturbation for Robust Question
Answering
- Title(参考訳): Bang for Your Buck:頑丈な質問に対する自然の誘惑
- Authors: Daniel Khashabi, Tushar Khot, Ashish Sabharwal
- Abstract要約: 全く新しい例のトレーニングセットを構築するための標準アプローチの代替案を提案する。
私たちのアプローチは、まず種子のサンプルを集め、次に人間主導の自然摂動を適用します。
自然摂動が作成に適度に安価である場合、モデルを用いたモデルのトレーニングがより効果的であることに気付きました。
- 参考スコア(独自算出の注目度): 49.83269677507831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent models have achieved human-level scores on many NLP datasets, we
observe that they are considerably sensitive to small changes in input. As an
alternative to the standard approach of addressing this issue by constructing
training sets of completely new examples, we propose doing so via minimal
perturbation of examples. Specifically, our approach involves first collecting
a set of seed examples and then applying human-driven natural perturbations (as
opposed to rule-based machine perturbations), which often change the gold label
as well. Local perturbations have the advantage of being relatively easier (and
hence cheaper) to create than writing out completely new examples. To evaluate
the impact of this phenomenon, we consider a recent question-answering dataset
(BoolQ) and study the benefit of our approach as a function of the perturbation
cost ratio, the relative cost of perturbing an existing question vs. creating a
new one from scratch. We find that when natural perturbations are moderately
cheaper to create, it is more effective to train models using them: such models
exhibit higher robustness and better generalization, while retaining
performance on the original BoolQ dataset.
- Abstract(参考訳): 最近のモデルは多数のnlpデータセットで人間レベルのスコアを達成しているが、入力の小さな変化にかなり敏感である。
全く新しい例のトレーニングセットを構築することでこの問題に対処する標準的なアプローチの代替として、サンプルの摂動を最小限に抑えることを提案する。
特に当社のアプローチでは、まずシードサンプルのセットを収集し、次に(ルールベースのマシンの摂動とは対照的に)人間主導の自然摂動を適用することで、ゴールドラベルも変更します。
ローカルな摂動は、完全に新しい例を書くよりも作成が比較的簡単(従って安い)であることの利点がある。
この現象の影響を評価するために,最近の質問応答データセット(boolq)を考察し,摂動コスト比の関数として,既存の質問を摂動する相対コストとゼロから新しい質問を作成することの利点について考察する。
自然摂動が適度に安価に作成できる場合、これらのモデルを使用してモデルをトレーニングすることはより効果的である:そのようなモデルは、元のBoolQデータセットのパフォーマンスを維持しながら、より堅牢性とより良い一般化を示す。
関連論文リスト
- Simple and Fast Group Robustness by Automatic Feature Reweighting [45.9024045614187]
突発的特徴への依存を軽減するために,自動特徴強調(AFR)を提案する。
AFRは、標準ERMトレーニングベースモデルの最後の層を重み付き損失で再訓練する。
いくつかの視覚および自然言語分類ベンチマークにおいて、刺激的な属性を伴わずに訓練された競合手法の最良の報告結果を改善する。
論文 参考訳(メタデータ) (2023-06-19T17:19:13Z) - SCENE: Self-Labeled Counterfactuals for Extrapolating to Negative
Examples [23.77077091225583]
SCENE(Self-labeled Counterfactuals for Extrapolating to Negative Examples)は、学習データを自動合成する手法である。
SCENEは、答え可能なトレーニング例のみにアクセスすることで、SQuAD 2.0のパフォーマンスギャップの69.6%を埋めることができる。
論文 参考訳(メタデータ) (2023-05-13T19:30:58Z) - Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。
我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。
また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
論文 参考訳(メタデータ) (2023-02-17T19:48:11Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳(メタデータ) (2022-09-30T17:33:00Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - When in Doubt, Summon the Titans: Efficient Inference with Large Models [80.2673230098021]
本稿では,大規模モデルのモデル化の利点を実現する蒸留に基づく2段階の枠組みを提案する。
簡単な"例のサブセットでのみ正確な予測を行うために、私たちは、大きな教師モデルを使用して、軽量な学生モデルをガイドします。
提案した蒸留法は, 簡単な事例のみを扱うため, 学生規模でより積極的なトレードオフが可能であり, 推論の償却コストを低減できる。
論文 参考訳(メタデータ) (2021-10-19T22:56:49Z) - Adversarially Robust Classifier with Covariate Shift Adaptation [25.39995678746662]
既存の敵の訓練されたモデルは通常、テスト例に対して互いに独立して推論を行う。
単純な適応バッチ正規化(BN)技術は、ランダムな摂動に対してこれらのモデルのロバスト性を大幅に向上させることができることを示す。
さらに,適応BN手法は,敵攻撃に対する性能を高めつつも,一般的な汚職に対する堅牢性を著しく向上させることを示した。
論文 参考訳(メタデータ) (2021-02-09T19:51:56Z) - Towards Understanding the Regularization of Adversarial Robustness on
Neural Networks [46.54437309608066]
正規化の観点から, 劣化について検討する。
私たちは、信頼性の低いソリューションに対してNNを正規化/バイアス化することで、ARが実現されていることに気付きました。
論文 参考訳(メタデータ) (2020-11-15T08:32:09Z) - Effective Distant Supervision for Temporal Relation Extraction [49.20329405920023]
新しい領域における時間的関係抽出モデルを訓練するための主要な障壁は、多様で高品質な例がないことである。
本稿では,時間関係の遠隔管理例を自動的に収集する手法を提案する。
論文 参考訳(メタデータ) (2020-10-24T03:17:31Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2020-10-23T16:22:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。