論文の概要: Analyzing Dynamic Adversarial Training Data in the Limit

• arxiv url: http://arxiv.org/abs/2110.08514v1
• Date: Sat, 16 Oct 2021 08:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:03:18.639717
• Title: Analyzing Dynamic Adversarial Training Data in the Limit
• Title（参考訳）: 限界における動的対人訓練データの解析
• Authors: Eric Wallace, Adina Williams, Robin Jia, Douwe Kiela
• Abstract要約: 動的逆データ収集(DADC)は、このような多様なトレーニングセットを生成するためのアプローチとして、約束を守る。 本研究は,NLIの20ラウンドを少数の前提項で収集する,長期DADCに関する最初の研究である。 DADCの例でトレーニングされたモデルでは、専門家が計算したテストセットのエラーが、非敵のデータでトレーニングされたモデルよりも26%少なくなります。
• 参考スコア（独自算出の注目度）: 50.00850852546616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To create models that are robust across a wide range of test inputs, training datasets should include diverse examples that span numerous phenomena. Dynamic adversarial data collection (DADC), where annotators craft examples that challenge continually improving models, holds promise as an approach for generating such diverse training sets. Prior work has shown that running DADC over 1-3 rounds can help models fix some error types, but it does not necessarily lead to better generalization beyond adversarial test data. We argue that running DADC over many rounds maximizes its training-time benefits, as the different rounds can together cover many of the task-relevant phenomena. We present the first study of longer-term DADC, where we collect 20 rounds of NLI examples for a small set of premise paragraphs, with both adversarial and non-adversarial approaches. Models trained on DADC examples make 26% fewer errors on our expert-curated test set compared to models trained on non-adversarial data. Our analysis shows that DADC yields examples that are more difficult, more lexically and syntactically diverse, and contain fewer annotation artifacts compared to non-adversarial examples.
• Abstract（参考訳）: 幅広いテスト入力で堅牢なモデルを作成するために、トレーニングデータセットには、さまざまな現象にまたがるさまざまな例を含めるべきである。 dynamic adversarial data collection (dadc)は、アノテーションが継続的に改善するモデルに挑戦する例を作るもので、このような多様なトレーニングセットを生成するためのアプローチとしてpromiseを持っている。 1-3ラウンドでDADCを実行することは、モデルがいくつかのエラータイプを修正するのに役立つが、必ずしも敵対的なテストデータを超えたより良い一般化につながるとは限らない。 多くのラウンドでDADCを実行することで、さまざまなラウンドがタスク関連現象の多くをカバーできるため、トレーニング時間のメリットが最大になる、と私たちは主張する。 本研究は, 長期DADCの最初の研究であり, 20ラウンドのNLIサンプルを, 対角的アプローチと非対角的アプローチの両方を用いて, 少数の前提項に対して収集する。 DADCの例でトレーニングされたモデルでは、専門家が計算したテストセットのエラーが26%少なくなります。 分析の結果,DADCはより困難で,語彙的にも構文的にも多様であり,非逆例と比較してアノテーションのアーティファクトが少ない例が得られた。

関連論文リスト

• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Models in the Loop: Aiding Crowdworkers with Generative Annotation Assistants [41.9785159975426]
  我々は、アノテーションが完全に承認、修正、拒否できるリアルタイム提案を提供するジェネレーティブアシスタント(GAA)を導入する。 GAAは、アノテーションの速度の観点から大きな効率性をもたらすと同時に、モデル偽造率の改善につながっている。
  論文  参考訳（メタデータ） (2021-12-16T17:59:39Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。