論文の概要: Quantifying Robustness to Adversarial Word Substitutions

• arxiv url: http://arxiv.org/abs/2201.03829v1
• Date: Tue, 11 Jan 2022 08:18:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 14:21:10.414960
• Title: Quantifying Robustness to Adversarial Word Substitutions
• Title（参考訳）: 単語置換に対するロバストさの定量化
• Authors: Yuting Yang, Pei Huang, FeiFei Ma, Juan Cao, Meishan Zhang, Jian Zhang and Jintao Li
• Abstract要約: 深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。 単語レベルの堅牢性を評価するための形式的枠組みを提案する。 メトリックは、BERTのような最先端のモデルが、いくつかの単語置換によって簡単に騙される理由を理解するのに役立ちます。
• 参考スコア（独自算出の注目度）: 24.164523751390053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep-learning-based NLP models are found to be vulnerable to word substitution perturbations. Before they are widely adopted, the fundamental issues of robustness need to be addressed. Along this line, we propose a formal framework to evaluate word-level robustness. First, to study safe regions for a model, we introduce robustness radius which is the boundary where the model can resist any perturbation. As calculating the maximum robustness radius is computationally hard, we estimate its upper and lower bound. We repurpose attack methods as ways of seeking upper bound and design a pseudo-dynamic programming algorithm for a tighter upper bound. Then verification method is utilized for a lower bound. Further, for evaluating the robustness of regions outside a safe radius, we reexamine robustness from another view: quantification. A robustness metric with a rigorous statistical guarantee is introduced to measure the quantification of adversarial examples, which indicates the model's susceptibility to perturbations outside the safe radius. The metric helps us figure out why state-of-the-art models like BERT can be easily fooled by a few word substitutions, but generalize well in the presence of real-world noises.
• Abstract（参考訳）: 深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。 広く採用される前に、堅牢性に関する基本的な問題に対処する必要がある。 本稿では,単語レベルのロバスト性を評価するための形式的枠組みを提案する。 まず,モデルの安全な領域を研究するために,モデルが摂動に抵抗できる境界であるロバスト性半径を導入する。 最大ロバスト性半径の計算は計算が難しいので、その上限と下限を推定する。 攻撃手法を上界を求める方法として再活用し,より強固な上界に対して擬似動的プログラミングアルゴリズムを設計する。 そして、下限に対して検証方法を利用する。 さらに,安全な半径外の領域のロバスト性を評価するために,別の視点からロバスト性を再検討する。 厳密な統計的保証を持つロバストネス計量を導入し、モデルが安全な半径の外の摂動に感受性を示す逆例の定量化を計測する。 このメトリクスは、BERTのような最先端のモデルがいくつかの単語置換によって簡単に騙されることができる理由を理解するのに役立ちます。

関連論文リスト

• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Towards Precise Observations of Neural Model Robustness in Classification [2.127049691404299]
  ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変化を処理するニューラルネットワークの能力を測定する。 私たちのアプローチは、安全クリティカルなアプリケーションにおけるモデルロバストネスのより深い理解に寄与します。
  論文  参考訳（メタデータ） (2024-04-25T09:37:44Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• RobustMQ: Benchmarking Robustness of Quantized Models [54.15661421492865]
  量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。 我々は、ImageNet上の様々なノイズ(障害攻撃、自然破壊、系統的なノイズ)に対する量子化モデルのロバスト性について、徹底的に評価した。 我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
  論文  参考訳（メタデータ） (2023-08-04T14:37:12Z)
• ADDMU: Detection of Far-Boundary Adversarial Examples with Data and Model Uncertainty Estimation [125.52743832477404]
  AED(Adversarial Examples Detection)は、敵攻撃に対する重要な防御技術である。 本手法は, 正逆検出とFB逆検出の2種類の不確実性推定を組み合わせた新しい手法である textbfADDMU を提案する。 提案手法は,各シナリオにおいて,従来の手法よりも3.6と6.0のEmphAUC点が優れていた。
  論文  参考訳（メタデータ） (2022-10-22T09:11:12Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Consistent Non-Parametric Methods for Adaptive Robustness [26.016647703500887]
  標準のロバストな学習フレームワークの大きな欠点は、すべての入力に適用される人工的なロバスト性半径$r$の固定です。 本稿では, 適応ロバスト性のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-18T00:44:07Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Constrained Model-based Reinforcement Learning with Robust Cross-Entropy Method [30.407700996710023]
  本稿では,制約違反に対するスパースインジケータ信号を用いた制約/安全強化学習問題について検討する。 本稿では,ニューラルネットワークアンサンブルモデルを用いて予測の不確実性を推定し,モデル予測制御を基本制御フレームワークとして利用する。 その結果,本手法は現状のベースラインよりもはるかに少ない制約違反数でタスクを完了させることが判明した。
  論文  参考訳（メタデータ） (2020-10-15T18:19:35Z)
• Assessing Robustness of Text Classification through Maximal Safe Radius Computation [21.05890715709053]
  本研究の目的は,単語が同義語のような妥当な代替語に置き換えられた場合,モデル予測が変化しない保証を提供することである。 強靭性の尺度として、与えられた入力テキストに対して最大安全半径という概念を採用し、これは決定境界への埋め込み空間の最小距離である。 上界計算では,モンテカルロ木探索と構文フィルタリングを併用して,単語置換と単語置換の効果を解析する。
  論文  参考訳（メタデータ） (2020-10-01T09:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。