論文の概要: Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension

• arxiv url: http://arxiv.org/abs/2004.06076v4
• Date: Tue, 17 Nov 2020 16:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 22:58:17.150933
• Title: Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension
• Title（参考訳）: 読み理解におけるドメインと言語横断的一般化のためのadversarial augmentation policy search
• Authors: Adyasha Maharana, Mohit Bansal
• Abstract要約: 理解モデルを読むことは、しばしばトレーニングデータセットのニュアンスに過度に適合し、敵対的な評価に失敗する。 本稿では,複数の効果的な敵と自動データ拡張ポリシー探索手法を提案し,対角的評価に対して,読解理解モデルをより堅牢にすることを目的とする。
• 参考スコア（独自算出の注目度）: 96.62963688510035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reading comprehension models often overfit to nuances of training datasets and fail at adversarial evaluation. Training with adversarially augmented dataset improves robustness against those adversarial attacks but hurts generalization of the models. In this work, we present several effective adversaries and automated data augmentation policy search methods with the goal of making reading comprehension models more robust to adversarial evaluation, but also improving generalization to the source domain as well as new domains and languages. We first propose three new methods for generating QA adversaries, that introduce multiple points of confusion within the context, show dependence on insertion location of the distractor, and reveal the compounding effect of mixing adversarial strategies with syntactic and semantic paraphrasing methods. Next, we find that augmenting the training datasets with uniformly sampled adversaries improves robustness to the adversarial attacks but leads to decline in performance on the original unaugmented dataset. We address this issue via RL and more efficient Bayesian policy search methods for automatically learning the best augmentation policy combinations of the transformation probability for each adversary in a large search space. Using these learned policies, we show that adversarial training can lead to significant improvements in in-domain, out-of-domain, and cross-lingual (German, Russian, Turkish) generalization.
• Abstract（参考訳）: 理解モデルを読むことは、しばしばトレーニングデータセットのニュアンスに過剰に適合し、逆評価に失敗する。 逆拡張データセットによるトレーニングは、これらの敵攻撃に対する堅牢性を改善するが、モデルの一般化を損なう。 本研究は, 学習理解モデルをより堅牢にし, 情報源領域や新しいドメイン, 言語への一般化を向上することを目的として, いくつかの効果的な敵と自動データ拡張ポリシー探索手法を提案する。 まず, 文脈内の混乱点を複数導入し, 邪魔者の挿入位置依存性を示し, 構文的および意味的パラフレージング法を混合した複合効果を明らかにする, qa敵生成のための3つの新しい手法を提案する。 次に,学習データセットを一様にサンプリングして拡張することで,攻撃に対する頑健性が向上するが,未知のデータセットでは性能が低下することが分かった。 大規模検索空間における各敵に対する変換確率の最適な拡張ポリシーの組み合わせを自動的に学習する、RLおよびより効率的なベイズポリシー探索手法を用いてこの問題に対処する。 これらの学習方針を用いて、敵対的な訓練がドメイン内、ドメイン外、言語間(ドイツ語、ロシア語、トルコ語)の一般化を著しく改善することを示す。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• READ: Improving Relation Extraction from an ADversarial Perspective [33.44949503459933]
  関係抽出(RE)に特化して設計された対角的学習法を提案する。 提案手法では,シーケンスレベルの摂動とトークンレベルの摂動の両方をサンプルに導入し,個別の摂動語彙を用いてエンティティとコンテキストの摂動の探索を改善する。
  論文  参考訳（メタデータ） (2024-04-02T16:42:44Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• Multi-Task Federated Reinforcement Learning with Adversaries [2.6080102941802106]
  強化学習アルゴリズムは敵からの深刻な脅威となる。 本稿では,多タスク連関強化学習アルゴリズムの解析を行う。 攻撃性能が向上した適応攻撃法を提案する。
  論文  参考訳（メタデータ） (2021-03-11T05:39:52Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)
• Class-Aware Domain Adaptation for Improving Adversarial Robustness [27.24720754239852]
  学習データに敵の例を注入することにより,ネットワークを訓練するための敵の訓練が提案されている。 そこで本研究では,対人防御のための新しいクラスアウェアドメイン適応法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T03:45:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。