Fugu-MT 論文翻訳(概要): Learning to Ignore Adversarial Attacks

論文の概要: Learning to Ignore Adversarial Attacks

arxiv url: http://arxiv.org/abs/2205.11551v1
Date: Mon, 23 May 2022 18:01:30 GMT
ステータス: 処理完了
システム内更新日: 2022-05-25 12:33:17.933515
Title: Learning to Ignore Adversarial Attacks
Title（参考訳）: 敵の攻撃を無視する学習
Authors: Yiming Zhang, Yangqiaoyu Zhou, Samuel Carton, Chenhao Tan
Abstract要約: 攻撃トークンの無視を明示的に学習する合理化モデルを導入する。その結果,攻撃トークンの90%以上を合理的に無視できることがわかった。
参考スコア（独自算出の注目度）: 14.24585085013907
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Despite the strong performance of current NLP models, they can be brittle against adversarial attacks. To enable effective learning against adversarial inputs, we introduce the use of rationale models that can explicitly learn to ignore attack tokens. We find that the rationale models can successfully ignore over 90\% of attack tokens. This approach leads to consistent sizable improvements ($\sim$10\%) over baseline models in robustness on three datasets for both BERT and RoBERTa, and also reliably outperforms data augmentation with adversarial examples alone. In many cases, we find that our method is able to close the gap between model performance on a clean test set and an attacked test set and hence reduce the effect of adversarial attacks.
Abstract（参考訳）: 現在のNLPモデルの強力な性能にもかかわらず、敵攻撃に対して脆弱である。敵の入力に対して効果的な学習を可能にするために,攻撃トークンを明示的に学習し無視できる合理的モデルを導入する。合理的なモデルは攻撃トークンの90\%以上を無視することに成功した。このアプローチは、BERTとRoBERTaの2つのデータセットに対して、ベースラインモデルの堅牢性において、一貫した大規模な改善($10\%)をもたらし、また、敵対的な例だけでデータ拡張を確実に上回る。多くの場合,本手法では,クリーンなテストセットにおけるモデル性能と攻撃されたテストセットとのギャップを狭めることができ,敵の攻撃の影響を低減できることがわかった。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning [14.011140902511135]
In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
論文参考訳（メタデータ） (2024-01-11T14:38:19Z)
DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
敵攻撃は入力データに微妙な摂動をもたらす可能性がある。最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
論文参考訳（メタデータ） (2023-11-14T23:43:47Z)
Are aligned neural networks adversarially aligned? [93.91072860401856]
敵のユーザは、アライメントの試みを回避できるインプットを構築できる。既存のNLPベースの最適化攻撃は、整列したテキストモデルを確実に攻撃するには不十分であることを示す。我々は、NLP攻撃の改善が、テキストのみのモデルに対して、同じレベルの逆制御を示す可能性があると推測する。
論文参考訳（メタデータ） (2023-06-26T17:18:44Z)
FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文参考訳（メタデータ） (2022-10-23T22:24:03Z)
Multi-granularity Textual Adversarial Attack with Behavior Cloning [4.727534308759158]
我々は,被害者モデルに対するクエリが少なく,高品質な対数サンプルを生成するためのマルチグラムYアタックモデルMAYAを提案する。 2つの異なるブラックボックス攻撃設定と3つのベンチマークデータセットでBiLSTM,BERT,RoBERTaを攻撃し、攻撃モデルを評価するための総合的な実験を行った。
論文参考訳（メタデータ） (2021-09-09T15:46:45Z)
Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models [18.726529370845256]
本稿では,単語置換に基づく攻撃に対する事前学習型言語モデルBERTの堅牢性を改善する。また,BERTにおける単語レベルの対人訓練のための対人攻撃も作成する。
論文参考訳（メタデータ） (2021-07-15T21:03:34Z)
Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
論文参考訳（メタデータ） (2021-04-16T14:37:27Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)
BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
論文参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。