論文の概要: Towards Evaluating the Robustness of Chinese BERT Classifiers

• arxiv url: http://arxiv.org/abs/2004.03742v1
• Date: Tue, 7 Apr 2020 23:02:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 22:53:26.344177
• Title: Towards Evaluating the Robustness of Chinese BERT Classifiers
• Title（参考訳）: 中国bert分類器のロバスト性評価に向けて
• Authors: Boxin Wang, Boyuan Pan, Xin Li, Bo Li
• Abstract要約: BERTをベースとした分類器に対して,中国における新たなチャレベル攻撃法を提案する。 実験の結果、中国のニュースデータセットの分類精度は91.8%から0%に低下した。
• 参考スコア（独自算出の注目度）: 19.06256105080416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large-scale language representation models such as BERT have improved the state-of-the-art performances in many NLP tasks. Meanwhile, character-level Chinese NLP models, including BERT for Chinese, have also demonstrated that they can outperform the existing models. In this paper, we show that, however, such BERT-based models are vulnerable under character-level adversarial attacks. We propose a novel Chinese char-level attack method against BERT-based classifiers. Essentially, we generate "small" perturbation on the character level in the embedding space and guide the character substitution procedure. Extensive experiments show that the classification accuracy on a Chinese news dataset drops from 91.8% to 0% by manipulating less than 2 characters on average based on the proposed attack. Human evaluations also confirm that our generated Chinese adversarial examples barely affect human performance on these NLP tasks.
• Abstract（参考訳）: BERTのような大規模言語表現モデルの最近の進歩は、多くのNLPタスクにおける最先端の性能を改善している。 一方、BERT for Chineseを含む漢字レベルの中国のNLPモデルは、既存のモデルよりも優れていることを示した。 本稿では,BERTをベースとしたモデルでは,文字レベルの攻撃に対して脆弱であることを示す。 BERTをベースとした分類器に対する新しい中国炭度攻撃法を提案する。 基本的に、埋め込み空間における文字レベルの「小さな」摂動を生成し、文字置換手順を導出する。 広範な実験により、中国ニュースデータセットの分類精度は、提案された攻撃に基づいて平均2文字未満で操作することで91.8%から0%に低下することが示された。 また, 人的評価により, 生成した中国語の逆数例がこれらのNLPタスクの人的パフォーマンスにほとんど影響を与えないことが確認された。

関連論文リスト

• Semantic Stealth: Adversarial Text Attacks on NLP Using Several Methods [0.0]
  テキスト敵攻撃は、入力テキストを意図的に操作することで、モデルの予測を誤解させる。 本稿では,BERT,BERT-on-BERT,Fraud Bargain's Attack (FBA)について述べる。 PWWSは最も強力な敵として登場し、複数の評価シナリオで他のメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-04-08T02:55:01Z)
• Arabic Synonym BERT-based Adversarial Examples for Text Classification [0.0]
  本稿では、アラビア語における敵対的攻撃に関する最初の単語レベル研究を紹介する。 我々は、現在最先端のテキスト分類モデルの頑健さを、アラビア語の敵対的攻撃に対して評価する。 新たに生成したアラビアの敵対的事例の様々なモデルへの転送可能性について検討し、防御機構の有効性について検討した。
  論文  参考訳（メタデータ） (2024-02-05T19:39:07Z)
• Expanding Scope: Adapting English Adversarial Attacks to Chinese [11.032727439758661]
  本稿では,SOTA攻撃アルゴリズムを中国語に適応させる方法について検討する。 実験の結果,これまで英語NLPに適用されていた攻撃手法は,中国語で高品質な敵の例を生成できることがわかった。 さらに, 生成した逆数例が高頻度でセマンティック一貫性が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-08T02:07:49Z)
• Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
  Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価 MVPは、標準的な方法よりも平均8%の性能向上を実現している。 また,これらの利得の基盤となるメカニズムの解明も行なっている。
  論文  参考訳（メタデータ） (2023-03-13T17:41:57Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers [62.61866477815883]
  CSCD-NSは中国初のネイティブ話者向けスペルチェックデータセットである。 CSCD-NSはスケールが10倍大きく、誤差分布が異なる。 本稿では,入力過程をシミュレーションする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:25:42Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Enhancing Model Robustness By Incorporating Adversarial Knowledge Into Semantic Representation [42.23608639683468]
  AdvGraphは、中国ベースのNLPモデルの堅牢性を高める新しい防御です。 これは、入力の意味表現に逆の知識を組み込む。
  論文  参考訳（メタデータ） (2021-02-23T09:47:45Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。