論文の概要: Assessing Robustness of Text Classification through Maximal Safe Radius Computation

• arxiv url: http://arxiv.org/abs/2010.02004v2
• Date: Wed, 7 Oct 2020 08:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 06:59:15.891404
• Title: Assessing Robustness of Text Classification through Maximal Safe Radius Computation
• Title（参考訳）: 最大安全半径計算によるテキスト分類のロバスト性評価
• Authors: Emanuele La Malfa, Min Wu, Luca Laurenti, Benjie Wang, Anthony Hartshorn, Marta Kwiatkowska
• Abstract要約: 本研究の目的は,単語が同義語のような妥当な代替語に置き換えられた場合,モデル予測が変化しない保証を提供することである。 強靭性の尺度として、与えられた入力テキストに対して最大安全半径という概念を採用し、これは決定境界への埋め込み空間の最小距離である。 上界計算では,モンテカルロ木探索と構文フィルタリングを併用して,単語置換と単語置換の効果を解析する。
• 参考スコア（独自算出の注目度）: 21.05890715709053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network NLP models are vulnerable to small modifications of the input that maintain the original meaning but result in a different prediction. In this paper, we focus on robustness of text classification against word substitutions, aiming to provide guarantees that the model prediction does not change if a word is replaced with a plausible alternative, such as a synonym. As a measure of robustness, we adopt the notion of the maximal safe radius for a given input text, which is the minimum distance in the embedding space to the decision boundary. Since computing the exact maximal safe radius is not feasible in practice, we instead approximate it by computing a lower and upper bound. For the upper bound computation, we employ Monte Carlo Tree Search in conjunction with syntactic filtering to analyse the effect of single and multiple word substitutions. The lower bound computation is achieved through an adaptation of the linear bounding techniques implemented in tools CNN-Cert and POPQORN, respectively for convolutional and recurrent network models. We evaluate the methods on sentiment analysis and news classification models for four datasets (IMDB, SST, AG News and NEWS) and a range of embeddings, and provide an analysis of robustness trends. We also apply our framework to interpretability analysis and compare it with LIME.
• Abstract（参考訳）: ニューラルネットワークNLPモデルは、元の意味を維持するが異なる予測をもたらす入力の小さな変更に対して脆弱である。 本稿では,単語の置換に対するテキスト分類の頑健性に着目し,単語がシノニムのような妥当な代替語に置き換えられた場合,モデル予測が変更されないことを保証する。 強靭性の尺度として、与えられた入力テキストに対して最大安全半径という概念を採用し、これは決定境界への埋め込み空間の最小距離である。 厳密な最大安全半径の計算は実際には実現できないので、代わりに下限と上限を計算して近似する。 上限計算のために,モンテカルロ木探索と構文フィルタリングを併用し,単語および複数単語置換の効果を解析した。 低境界計算は,CNN-Cert と POPQORN で実装された,畳み込みおよび繰り返しネットワークモデルに対する線形境界手法の適応によって達成される。 本研究では,4つのデータセット (IMDB, SST, AG News, NEWS) に対する感情分析とニュース分類モデルの評価を行い, 強靭性傾向の分析を行った。 また、我々のフレームワークを解釈可能性分析に適用し、LIMEと比較する。

関連論文リスト

• Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks [39.51297217854375]
  ランダムな平滑化に基づく自然言語処理(NLP)のための信頼性の高いロバストネスフレームワークであるText-CRSを提案する。 テキストCRSは、4つの異なる単語レベルの対数操作すべてに対処でき、精度が大幅に向上することを示す。 また,同義語置換攻撃に対する最先端認証よりも,単語レベルの4つの操作の精度と半径に関する最初のベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-07-31T13:08:16Z)
• Semantic Similarity Computing Model Based on Multi Model Fine-Grained Nonlinear Fusion [30.71123144365683]
  本稿では, テキストの意味をグローバルな視点から把握するために, マルチモデル非線形融合に基づく新しいモデルを提案する。 このモデルは、音声の一部に基づくジャカード係数、TF-IDF(Term Frequency-Inverse Document Frequency)およびWord2vec-CNNアルゴリズムを用いて、文の類似度を測定する。 実験の結果,複数モデルの非線形融合に基づく文類似度計算手法のマッチングは84%,モデルのF1値は75%であった。
  論文  参考訳（メタデータ） (2022-02-05T03:12:37Z)
• Quantifying Robustness to Adversarial Word Substitutions [24.164523751390053]
  深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。 単語レベルの堅牢性を評価するための形式的枠組みを提案する。 メトリックは、BERTのような最先端のモデルが、いくつかの単語置換によって簡単に騙される理由を理解するのに役立ちます。
  論文  参考訳（メタデータ） (2022-01-11T08:18:39Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)
• A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings [50.524054820564395]
  そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。 結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
  論文  参考訳（メタデータ） (2020-12-03T19:24:42Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。