論文の概要: DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization

• arxiv url: http://arxiv.org/abs/2306.15164v1
• Date: Tue, 27 Jun 2023 02:46:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 14:47:39.286143
• Title: DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization
• Title（参考訳）: DSRM:分散シフトリスク最小化によるテキスト反転学習の促進
• Authors: Songyang Gao, Shihan Dou, Yan Liu, Xiao Wang, Qi Zhang, Zhongyu Wei, Jin Ma, Ying Shan
• Abstract要約: 敵対的訓練は、ディープ言語モデルの堅牢性を改善するための最も優れた方法の1つである。 クリーンなデータのみを用いて対人訓練を行う新しい効果的な方法を提案する。 本手法では, 学習にゼロ対向検定が必要であり, 現行の対向検定法と比較して, 時間消費を最大70%削減する。
• 参考スコア（独自算出の注目度）: 36.10642858867033
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adversarial training is one of the best-performing methods in improving the robustness of deep language models. However, robust models come at the cost of high time consumption, as they require multi-step gradient ascents or word substitutions to obtain adversarial samples. In addition, these generated samples are deficient in grammatical quality and semantic consistency, which impairs the effectiveness of adversarial training. To address these problems, we introduce a novel, effective procedure for instead adversarial training with only clean data. Our procedure, distribution shift risk minimization (DSRM), estimates the adversarial loss by perturbing the input data's probability distribution rather than their embeddings. This formulation results in a robust model that minimizes the expected global loss under adversarial attacks. Our approach requires zero adversarial samples for training and reduces time consumption by up to 70\% compared to current best-performing adversarial training methods. Experiments demonstrate that DSRM considerably improves BERT's resistance to textual adversarial attacks and achieves state-of-the-art robust accuracy on various benchmarks.
• Abstract（参考訳）: adversarial trainingは、深層言語モデルのロバスト性を改善するための最も優れた方法の1つである。 しかし、ロバストなモデルは、逆のサンプルを得るために多段階勾配の上昇や単語置換を必要とするため、高時間消費のコストがかかる。 さらに、これらのサンプルは文法的品質と意味的一貫性に欠けており、対人訓練の有効性を損なう。 これらの問題に対処するため,クリーンなデータのみを用いて対人訓練を行う新しい効果的な手法を提案する。 我々の手法である分散シフトリスク最小化(DSRM)は,入力データの確率分布を組込みではなく摂動することで,敵の損失を推定する。 この定式化は、敵攻撃による世界的損失を最小化するロバストなモデルをもたらす。 本手法では, 学習にゼロ対向検定が必要であり, 現行の対向検定法と比較して, 時間消費を最大70%削減する。 実験により、DSRMはBERTのテキスト逆攻撃に対する耐性を大幅に改善し、様々なベンチマークで最先端の堅牢な精度を実現している。

関連論文リスト

• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Boundary Adversarial Examples Against Adversarial Overfitting [4.391102490444538]
  敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。 強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。 本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
  論文  参考訳（メタデータ） (2022-11-25T13:16:53Z)
• Efficient Adversarial Training With Data Pruning [26.842714298874192]
  我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。 一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
  論文  参考訳（メタデータ） (2022-07-01T23:54:46Z)
• Adaptive perturbation adversarial training: based on reinforcement learning [9.563820241076103]
  対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。 この問題を緩和するため,適応的対人訓練が提案されている。 決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
  論文  参考訳（メタデータ） (2021-08-30T13:49:55Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。