論文の概要: Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models

• arxiv url: http://arxiv.org/abs/2103.15543v1
• Date: Mon, 29 Mar 2021 12:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 23:38:57.110495
• Title: Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models
• Title（参考訳）: 毒言葉の埋め込みに気をつけて - NLPモデルにおける埋め込み層の脆弱性を探る
• Authors: Wenkai Yang, Lei Li, Zhiyuan Zhang, Xuancheng Ren, Xu Sun, Bin He
• Abstract要約: 最近の研究では、バックドア攻撃と呼ばれる自然言語処理(NLP)モデルに対するセキュリティの脅威が明らかになった。 本稿では,1つの単語埋め込みベクトルを変更することで,データフリーな方法でモデルをハックできることを見出した。 感情分析および文対分類タスクの実験結果から,本手法はより効率的でステルス性が高いことが示された。
• 参考スコア（独自算出の注目度）: 27.100909068228813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have revealed a security threat to natural language processing (NLP) models, called the Backdoor Attack. Victim models can maintain competitive performance on clean samples while behaving abnormally on samples with a specific trigger word inserted. Previous backdoor attacking methods usually assume that attackers have a certain degree of data knowledge, either the dataset which users would use or proxy datasets for a similar task, for implementing the data poisoning procedure. However, in this paper, we find that it is possible to hack the model in a data-free way by modifying one single word embedding vector, with almost no accuracy sacrificed on clean samples. Experimental results on sentiment analysis and sentence-pair classification tasks show that our method is more efficient and stealthier. We hope this work can raise the awareness of such a critical security risk hidden in the embedding layers of NLP models. Our code is available at https://github.com/lancopku/Embedding-Poisoning.
• Abstract（参考訳）: 最近の研究では、バックドア攻撃と呼ばれる自然言語処理(NLP)モデルに対するセキュリティ上の脅威が明らかにされている。 Victimモデルは、特定のトリガーワードを挿入したサンプルに対して異常に振る舞いながら、クリーンサンプル上での競合性能を維持することができる。 以前のバックドア攻撃手法は通常、攻撃者がデータ中毒手順を実装するために、ユーザーが使用するデータセットまたは同様のタスクのためにプロキシデータセットのいずれかのある程度のデータ知識を持っていると仮定する。 しかし,本論文では,単一単語埋め込みベクトルを1つ変更することで,クリーンサンプルの精度をほとんど犠牲にすることなく,データフリーな方法でモデルをハックすることが可能であることを示す。 感情分析および文対分類タスクの実験結果から,本手法はより効率的でステルス性が高いことが示された。 この研究が、NLPモデルの埋め込み層に隠されたこのような重要なセキュリティリスクの認識を高めることを願っている。 私たちのコードはhttps://github.com/lancopku/embedding-poisoningで利用可能です。

関連論文リスト

• Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
  バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。 このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。 この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
  論文  参考訳（メタデータ） (2024-02-28T21:29:16Z)
• OrderBkd: Textual backdoor attack through repositioning [0.0]
  サードパーティのデータセットと事前トレーニングされた機械学習モデルは、NLPシステムに脅威をもたらす。 既存のバックドア攻撃は、トークンの挿入や文のパラフレーズなどのデータサンプルを毒殺する。 これまでの研究との大きな違いは、文中の2つの単語の配置をトリガーとして使うことです。
  論文  参考訳（メタデータ） (2024-02-12T14:53:37Z)
• Can We Trust the Unlabeled Target Data? Towards Backdoor Attack and Defense on Model Adaptation [120.42853706967188]
  本研究は, よく設計された毒物標的データによるモデル適応に対するバックドア攻撃の可能性を探る。 既存の適応アルゴリズムと組み合わせたMixAdaptというプラグイン・アンド・プレイ方式を提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:42:10Z)
• Occlusion-based Detection of Trojan-triggering Inputs in Large Language Models of Code [12.590783740412157]
  大規模言語モデル(LLM)は、ソフトウェア開発の一体的な部分になりつつある。 潜在的攻撃面は、有毒なデータをトレーニングデータに注入して、モデルを脆弱にする、いわゆるトロイの木馬である。 モデル内にマニピュティブな振る舞いを隠すことで、ダウンストリームタスクにおけるモデルの整合性を損なうという重大な脅威を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2023-12-07T02:44:35Z)
• ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP [29.375957205348115]
  本稿では,モデル予測の解釈可能性に着目した,革新的な試験時間有毒サンプル検出フレームワークを提案する。 我々は、最先端の大規模言語モデルであるChatGPTをパラフレーズとして使用し、迅速なエンジニアリング問題としてトリガー除去タスクを定式化する。
  論文  参考訳（メタデータ） (2023-08-04T03:48:28Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• MSDT: Masked Language Model Scoring Defense in Text Domain [16.182765935007254]
  我々は,MSDTというテキストバックドア防御手法を新たに導入し,既存の防御アルゴリズムを特定のデータセットで上回る性能を示す。 実験結果から,テキスト領域におけるバックドア攻撃に対する防御の観点から,本手法が有効かつ建設的であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-10T06:46:47Z)
• Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
  周波数領域に基づく一般化されたバックドア攻撃手法を提案する。 トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。 我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-09T07:05:53Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
  本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。 感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
  論文  参考訳（メタデータ） (2020-04-14T16:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。