論文の概要: Bad Characters: Imperceptible NLP Attacks

• arxiv url: http://arxiv.org/abs/2106.09898v1
• Date: Fri, 18 Jun 2021 03:42:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:15:55.697478
• Title: Bad Characters: Imperceptible NLP Attacks
• Title（参考訳）: 悪質なキャラクター: 受け入れ難いNLP攻撃
• Authors: Nicholas Boucher, Ilia Shumailov, Ross Anderson, Nicolas Papernot
• Abstract要約: 敵対的な例のクラスは、ブラックボックスの設定でテキストベースのモデルを攻撃するために使用することができる。 単一の知覚不可能なエンコーディングインジェクションでは、攻撃者は脆弱なモデルの性能を大幅に低下させることができる。 弊社の攻撃は、MicrosoftやGoogleなど、現在展開中の商用システムに対するものだ。
• 参考スコア（独自算出の注目度）: 16.357959724298745
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Several years of research have shown that machine-learning systems are vulnerable to adversarial examples, both in theory and in practice. Until now, such attacks have primarily targeted visual models, exploiting the gap between human and machine perception. Although text-based models have also been attacked with adversarial examples, such attacks struggled to preserve semantic meaning and indistinguishability. In this paper, we explore a large class of adversarial examples that can be used to attack text-based models in a black-box setting without making any human-perceptible visual modification to inputs. We use encoding-specific perturbations that are imperceptible to the human eye to manipulate the outputs of a wide range of Natural Language Processing (NLP) systems from neural machine-translation pipelines to web search engines. We find that with a single imperceptible encoding injection -- representing one invisible character, homoglyph, reordering, or deletion -- an attacker can significantly reduce the performance of vulnerable models, and with three injections most models can be functionally broken. Our attacks work against currently-deployed commercial systems, including those produced by Microsoft and Google, in addition to open source models published by Facebook and IBM. This novel series of attacks presents a significant threat to many language processing systems: an attacker can affect systems in a targeted manner without any assumptions about the underlying model. We conclude that text-based NLP systems require careful input sanitization, just like conventional applications, and that given such systems are now being deployed rapidly at scale, the urgent attention of architects and operators is required.
• Abstract（参考訳）: 機械学習システムは、理論と実際の両方において、敵の例に弱いことが数年間の研究で示されている。 これまでこのような攻撃は主に視覚モデルをターゲットにしており、人間と機械の知覚のギャップを生かしてきた。 テキストベースのモデルも敵の例で攻撃されているが、このような攻撃は意味的意味と区別不能を保つのに苦労した。 本稿では,テキストベースのモデルをブラックボックス設定で攻撃するために,入力に視覚的な修正を加えることなく,多数の敵の例を探索する。 我々は,人間の目には知覚できない符号化固有摂動を用いて,ニューラルネットワーク翻訳パイプラインからweb検索エンジンまで,幅広い自然言語処理(nlp)システムの出力を操作する。 単一の認識不能なエンコーディングインジェクション(1つの見えない文字、ホモグリフ、リオーダー、削除を表す)では、攻撃者は脆弱なモデルの性能を著しく低下させ、ほとんどのモデルが機能的に壊れる可能性がある。 当社の攻撃は、現在デプロイされている商用システムに対するもので、MicrosoftやGoogleが製造したものだけでなく、FacebookやIBMが公開したオープンソースモデルも対象です。 この新たな攻撃は、多くの言語処理システムに重大な脅威をもたらす。攻撃者は、基盤となるモデルについて仮定することなく、ターゲットとする方法でシステムに影響を与えることができる。 我々は,テキストベースのNLPシステムでは,従来のアプリケーションと同じように注意深い入力衛生化が必要であり,そのようなシステムが大規模に迅速に展開されているため,アーキテクトやオペレーターの緊急注意が必要であると結論付けた。

関連論文リスト

• SoK: A Systems Perspective on Compound AI Threats and Countermeasures [3.458371054070399]
  我々は、複合AIシステムに適用可能な、異なるソフトウェアとハードウェアの攻撃について議論する。 複数の攻撃機構を組み合わせることで、孤立攻撃に必要な脅威モデル仮定をいかに削減できるかを示す。
  論文  参考訳（メタデータ） (2024-11-20T17:08:38Z)
• Undermining Image and Text Classification Algorithms Using Adversarial Attacks [0.0]
  本研究は,各種機械学習モデルを訓練し,GANとSMOTEを用いてテキスト分類モデルへの攻撃を目的とした追加データポイントを生成することにより,そのギャップを解消する。 実験の結果,分類モデルの重大な脆弱性が明らかとなった。特に,攻撃後の最上位のテキスト分類モデルの精度が20%低下し,顔認識精度が30%低下した。
  論文  参考訳（メタデータ） (2024-11-03T18:44:28Z)
• MASKDROID: Robust Android Malware Detection with Masked Graph Representations [56.09270390096083]
  マルウェアを識別する強力な識別能力を持つ強力な検出器MASKDROIDを提案する。 我々は、グラフニューラルネットワークベースのフレームワークにマスキング機構を導入し、MASKDROIDに入力グラフ全体の復元を強制する。 この戦略により、モデルは悪意のあるセマンティクスを理解し、より安定した表現を学習し、敵攻撃に対する堅牢性を高めることができる。
  論文  参考訳（メタデータ） (2024-09-29T07:22:47Z)
• Query Efficient Decision Based Sparse Attacks Against Black-Box Deep Learning Models [9.93052896330371]
  本研究では,進化型アルゴリズムであるSparseEvoを開発し,畳み込み型深層ニューラルネットワークと視覚変換器の両方に対して評価する。 SparseEvoは、未ターゲットとターゲットの両方の攻撃に対して、最先端のスパース攻撃よりもはるかに少ないモデルクエリを必要とする。 重要なことは、クエリ効率のよいSparseEvoと意思決定ベースの攻撃は、一般的に、デプロイされたシステムの安全性に関する新しい疑問を提起する。
  論文  参考訳（メタデータ） (2022-01-31T21:10:47Z)
• Real-World Adversarial Examples involving Makeup Application [58.731070632586594]
  フルフェイスメイクを用いた身体的敵攻撃を提案する。 我々の攻撃は、色や位置関連エラーなどのメークアップアプリケーションにおける手動エラーを効果的に克服できる。
  論文  参考訳（メタデータ） (2021-09-04T05:29:28Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Practical No-box Adversarial Attacks against DNNs [31.808770437120536]
  我々は、攻撃者がモデル情報やトレーニングセットにアクセスしたり、モデルに問い合わせたりできない、ノンボックスの逆例を調査する。 非常に小さなデータセットでトレーニングを行うための3つのメカニズムを提案し、プロトタイプの再構築が最も効果的であることを示す。 提案手法は, システムの平均予測精度を15.40%に低下させ, 事前学習したArcfaceモデルから, 敵のサンプルを転送する攻撃と同等にする。
  論文  参考訳（メタデータ） (2020-12-04T11:10:03Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)
• Adversarial Machine Learning in Network Intrusion Detection Systems [6.18778092044887]
  ネットワーク侵入検知システムにおける逆問題の性質について検討する。 進化的計算(粒子群最適化と遺伝的アルゴリズム)と深層学習(生成的敵ネットワーク)を、敵対的サンプル生成のためのツールとして利用する。 我々の研究は、敵の摂動に直面した機械学習ベースのNIDSの脆弱性を強調している。
  論文  参考訳（メタデータ） (2020-04-23T19:47:43Z)
• Firearm Detection and Segmentation Using an Ensemble of Semantic Neural Networks [62.997667081978825]
  本稿では,意味的畳み込みニューラルネットワークのアンサンブルに基づく兵器検出システムを提案する。 特定のタスクに特化した単純なニューラルネットワークのセットは、計算リソースを少なくし、並列にトレーニングすることができる。 個々のネットワークの出力の集約によって与えられるシステムの全体的な出力は、ユーザが偽陽性と偽陰性とをトレードオフするように調整することができる。
  論文  参考訳（メタデータ） (2020-02-11T13:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。