論文の概要: Adversarial Attack and Defense of Structured Prediction Models
- arxiv url: http://arxiv.org/abs/2010.01610v2
- Date: Sun, 18 Oct 2020 09:39:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 03:40:26.659910
- Title: Adversarial Attack and Defense of Structured Prediction Models
- Title（参考訳）: 構造化予測モデルの敵対的攻撃と防御
- Authors: Wenjuan Han, Liwen Zhang, Yong Jiang, Kewei Tu
- Abstract要約: 本論文では,NLPにおける構造化予測タスクに対する攻撃と防御について検討する。
構造化予測モデルの構造化出力は、入力中の小さな摂動に敏感である。
本稿では,シーケンス・ツー・シーケンス・モデルを用いて,構造化予測モデルへの攻撃を学習する,新規で統一的なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 58.49290114755019
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building an effective adversarial attacker and elaborating on countermeasures
for adversarial attacks for natural language processing (NLP) have attracted a
lot of research in recent years. However, most of the existing approaches focus
on classification problems. In this paper, we investigate attacks and defenses
for structured prediction tasks in NLP. Besides the difficulty of perturbing
discrete words and the sentence fluency problem faced by attackers in any NLP
tasks, there is a specific challenge to attackers of structured prediction
models: the structured output of structured prediction models is sensitive to
small perturbations in the input. To address these problems, we propose a novel
and unified framework that learns to attack a structured prediction model using
a sequence-to-sequence model with feedbacks from multiple reference models of
the same structured prediction task. Based on the proposed attack, we further
reinforce the victim model with adversarial training, making its prediction
more robust and accurate. We evaluate the proposed framework in dependency
parsing and part-of-speech tagging. Automatic and human evaluations show that
our proposed framework succeeds in both attacking state-of-the-art structured
prediction models and boosting them with adversarial training.
- Abstract（参考訳）: 近年, 自然言語処理(NLP)に対する効果的な敵攻撃の構築と, 対人攻撃対策についての研究が盛んに行われている。
しかし、既存のアプローチのほとんどは分類問題に焦点を当てている。
本論文では,NLPにおける構造化予測タスクに対する攻撃と防御について検討する。
離散的な単語の摂動の困難さや、NLPタスクにおいて攻撃者が直面する文流布の問題に加えて、構造化予測モデルの攻撃者には特定の課題がある:構造化予測モデルの構造化出力は入力内の小さな摂動に敏感である。
これらの問題に対処するために,同一の構造化予測タスクの複数の参照モデルからのフィードバックを伴うシーケンシャル・ツー・シーケンスモデルを用いて,構造化予測モデルに対する攻撃を学習する新しい統一フレームワークを提案する。
提案する攻撃に基づいて,敵の訓練により被害者モデルをさらに強化し,その予測をより堅牢かつ正確なものにする。
提案フレームワークは,依存性解析とpart-of-speechタギングで評価する。
自動的および人的評価により,提案手法は,最先端構造予測モデルへの攻撃に成功し,敵の訓練で強化することを示す。
関連論文リスト
- MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。
本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。
異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-06-13T15:55:04Z) - Problem space structural adversarial attacks for Network Intrusion Detection Systems based on Graph Neural Networks [8.629862888374243]
本稿では,ネットワーク侵入検知におけるGNNに適した敵攻撃の最初の形式化を提案する。
我々は、現実のシナリオにおいて、実行可能な構造攻撃を実行するために、攻撃者が考慮すべき問題空間の制約を概説し、モデル化する。
以上の結果から,古典的特徴に基づく攻撃に対するモデルの堅牢性の向上が示唆された。
論文 参考訳（メタデータ） (2024-03-18T14:40:33Z) - Fooling the Textual Fooler via Randomizing Latent Representations [13.77424820701913]
敵語レベルの摂動はよく研究され効果的な攻撃戦略である。
本稿では、敵の例を生成する過程を複雑にすることを目的とする、軽量で攻撃に依存しない防御法を提案する。
本稿では,AdvFoolerの対人的単語レベル攻撃に対する最先端のロバスト性を実証的に示す。
論文 参考訳（メタデータ） (2023-10-02T06:57:25Z) - Adversarial Attacks Against Uncertainty Quantification [10.655660123083607]
この研究は、攻撃者が依然として不確実性推定を操作することに興味を持つ異なる敵シナリオに焦点を当てる。
特に、アウトプットが下流モジュールや人間のオペレータによって消費される場合、機械学習モデルの使用を損なうことが目標である。
論文 参考訳（メタデータ） (2023-09-19T12:54:09Z) - COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in
Language Models [4.776465250559034]
ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。
まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。
そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-09T03:53:42Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳（メタデータ） (2022-12-20T14:06:50Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳（メタデータ） (2022-06-17T02:29:23Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-13T13:54:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。