論文の概要: Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT

• arxiv url: http://arxiv.org/abs/2003.04985v1
• Date: Thu, 27 Feb 2020 22:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 08:40:47.627640
• Title: Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT
• Title（参考訳）: Adv-BERT: BERTはミススペルでは堅牢ではありません! BERT上の自然対向サンプルの生成
• Authors: Lichao Sun, Kazuma Hashimoto, Wenpeng Yin, Akari Asai, Jia Li, Philip Yu, Caiming Xiong
• Abstract要約: しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。 この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
• 参考スコア（独自算出の注目度）: 95.88293021131035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is an increasing amount of literature that claims the brittleness of deep neural networks in dealing with adversarial examples that are created maliciously. It is unclear, however, how the models will perform in realistic scenarios where \textit{natural rather than malicious} adversarial instances often exist. This work systematically explores the robustness of BERT, the state-of-the-art Transformer-style model in NLP, in dealing with noisy data, particularly mistakes in typing the keyboard, that occur inadvertently. Intensive experiments on sentiment analysis and question answering benchmarks indicate that: (i) Typos in various words of a sentence do not influence equally. The typos in informative words make severer damages; (ii) Mistype is the most damaging factor, compared with inserting, deleting, etc.; (iii) Humans and machines have different focuses on recognizing adversarial attacks.
• Abstract（参考訳）: 悪意を持って生成された敵の例を扱うことでディープニューラルネットワークの脆さを主張する文献が増えている。 しかし、悪質なインスタンスが頻繁に存在するような現実的なシナリオでは、モデルがどのように機能するのかは不明だ。 この研究は、NLPにおける最先端のトランスフォーマースタイルモデルであるBERTの頑健さを体系的に探求し、ノイズの多いデータ、特にキーボードの入力ミスを不注意に処理する。 感情分析と質問応答ベンチマークに関する集中的な実験は、次のように示している。 (i)文のさまざまな単語のタイプミスは等しく影響しない。 情報的な言葉のタイプミスは、より深刻なダメージを与える。 (ii)ミスタイプは挿入や削除などと比較して最も有害な要因である。 ; (iii)人間と機械は、敵の攻撃を認識することに焦点を当てている。

関連論文リスト

• Semantic Stealth: Adversarial Text Attacks on NLP Using Several Methods [0.0]
  テキスト敵攻撃は、入力テキストを意図的に操作することで、モデルの予測を誤解させる。 本稿では,BERT,BERT-on-BERT,Fraud Bargain's Attack (FBA)について述べる。 PWWSは最も強力な敵として登場し、複数の評価シナリオで他のメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-04-08T02:55:01Z)
• Adversarial Attacks and Dimensionality in Text Classifiers [3.4179091429029382]
  機械学習アルゴリズムに対する敵対的な攻撃は、多くの現実世界のユースケースにおいて、AIの採用を妨げている。 本研究では,自然言語処理分野,特にテキスト分類タスクにおける逆例について検討する。
  論文  参考訳（メタデータ） (2024-04-03T11:49:43Z)
• SenTest: Evaluating Robustness of Sentence Encoders [0.4194295877935868]
  本研究は文エンコーダの堅牢性を評価することに焦点を当てる。 我々はその堅牢性を評価するためにいくつかの敵攻撃を用いる。 実験結果は文エンコーダの堅牢性を強く損なう。
  論文  参考訳（メタデータ） (2023-11-29T15:21:35Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
  我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。 そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。 我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
  論文  参考訳（メタデータ） (2022-01-20T14:16:07Z)
• A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
  自然言語処理のための新しいブラックボックス文レベルアタックを提案する。 本手法は,事前学習した言語モデルを微調整して,逆例を生成する。 提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-23T14:43:13Z)
• Experiments with adversarial attacks on text genres [0.0]
  BERTやXLM-RoBERTaのような事前学習されたトランスフォーマーに基づくニューラルモデルは、多くのNLPタスクにおいてSOTA結果を示す。 そこで本研究では,最も重要な単語のいくつかを類似した単語に置き換えることができる埋め込み型アルゴリズムが,モデル予測にかなりの割合で影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:37:59Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。