論文の概要: Efficient Combinatorial Optimization for Word-level Adversarial Textual Attack

• arxiv url: http://arxiv.org/abs/2109.02229v1
• Date: Mon, 6 Sep 2021 03:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 02:48:19.891594
• Title: Efficient Combinatorial Optimization for Word-level Adversarial Textual Attack
• Title（参考訳）: 単語レベルのテキスト攻撃に対する効果的な組合せ最適化
• Authors: Shengcai Liu, Ning Lu, Cheng Chen, Ke Tang
• Abstract要約: 自然言語処理で使用されるディープニューラルネットワークの脆弱性を明らかにするために、様々な単語レベルのテキスト攻撃手法が提案されている。 一般のケースでこの問題を解決するために,効率的な局所探索アルゴリズム (LS) を提案する。 LSは攻撃の成功率を高めるために,通常桁違いのクエリ数を大幅に削減できることを示す。
• 参考スコア（独自算出の注目度）: 26.91645793706187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past few years, various word-level textual attack approaches have been proposed to reveal the vulnerability of deep neural networks used in natural language processing. Typically, these approaches involve an important optimization step to determine which substitute to be used for each word in the original input. However, current research on this step is still rather limited, from the perspectives of both problem-understanding and problem-solving. In this paper, we address these issues by uncovering the theoretical properties of the problem and proposing an efficient local search algorithm (LS) to solve it. We establish the first provable approximation guarantee on solving the problem in general cases. Notably, for adversarial textual attack, it is even better than the previous bound which only holds in special case. Extensive experiments involving five NLP tasks, six datasets and eleven NLP models show that LS can largely reduce the number of queries usually by an order of magnitude to achieve high attack success rates. Further experiments show that the adversarial examples crafted by LS usually have higher quality, exhibit better transferability, and can bring more robustness improvement to victim models by adversarial training.
• Abstract（参考訳）: 過去数年間、自然言語処理に使用されるディープニューラルネットワークの脆弱性を明らかにするために、様々な単語レベルのテキスト攻撃手法が提案されている。 通常、これらのアプローチは、元の入力で各単語に使用する代用語を決定する重要な最適化ステップを含む。 しかし、この段階に関する現在の研究は、問題理解と問題解決の両方の観点から、かなり限定されている。 本稿では,問題の理論的性質を明らかにし,その解法として効率的な局所探索アルゴリズム(LS)を提案する。 一般のケースで問題を解くための最初の証明可能な近似保証を確立する。 特に、敵対的なテキスト攻撃の場合、特別な場合にのみ保持される以前の境界よりも優れている。 5つのNLPタスク、6つのデータセット、11のNLPモデルを含む大規模な実験により、LSは高い攻撃成功率を達成するために通常1桁のクエリ数を大幅に削減できることが示された。 さらなる実験により、lsが作成した敵の例は、通常、より高い品質を持ち、転送性を示し、敵の訓練によって被害者モデルにより堅牢な改善をもたらすことが示されている。

関連論文リスト

• TextGrad: Advancing Robustness Evaluation in NLP by Gradient-Driven Optimization [35.8795761863398]
  グラデーション駆動最適化を用いた新たな攻撃生成器であるTextGradを提案する。 本研究では,連続的なゆらぎのあるサイト選択と摂動変数を共最適化する効果的な凸緩和法を開発した。 1次攻撃生成法として、TextGradは、NLPモデルの堅牢性をさらに向上するために、敵の訓練に組み込むことができる。
  論文  参考訳（メタデータ） (2022-12-19T05:55:58Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems [102.95119281306893]
  我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
  論文  参考訳（メタデータ） (2022-06-24T09:13:39Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial Attack Framework [17.17479625646699]
  そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。 本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2021-10-28T17:31:51Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• A Comprehensive Study of Class Incremental Learning Algorithms for Visual Tasks [11.230170401360633]
  新しいデータに直面するとき、人工知能エージェントが能力を高める能力は、人工知能におけるオープンな挑戦である。 主な課題は破滅的な忘れ、すなわちニューラルネットワークが新しいものを摂取する際に過去のデータに不適合な傾向である。 本稿では,データセット数,データセットサイズ,境界メモリサイズ,インクリメンタルステート数の観点から,既存のフレームワークよりも徹底的な共通評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:59:21Z)
• Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees [19.28405674700399]
  訓練中の敵の例は、敵の攻撃に対する一般的な防御メカニズムです。 min-max問題を最適制御問題として解釈することにより、ニューラルネットワークの構成構造を活用できることが示されている。 本稿では、ロバストな最適制御の手法と、最適化における不正確な手法を組み合わせて、この逆学習アルゴリズムの最初の収束解析を行う。
  論文  参考訳（メタデータ） (2020-05-01T21:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。