論文の概要: Defense Against Syntactic Textual Backdoor Attacks with Token Substitution

• arxiv url: http://arxiv.org/abs/2407.04179v1
• Date: Thu, 4 Jul 2024 22:48:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 15:00:44.252629
• Title: Defense Against Syntactic Textual Backdoor Attacks with Token Substitution
• Title（参考訳）: トーケン置換による統語的テクスチャバックドア攻撃に対する防御
• Authors: Xinglin Li, Xianwen He, Yao Li, Minhao Cheng,
• Abstract要約: トレーニング段階では、慎重に選択されたトリガを犠牲者モデルに組み込んで、特定のクラスと同じトリガを含む入力を誤って予測する。 本稿では,構文ベースと特別なトークンベースのバックドア攻撃を効果的に対処する新しいオンライン防御アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.496176148454849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual backdoor attacks present a substantial security risk to Large Language Models (LLM). It embeds carefully chosen triggers into a victim model at the training stage, and makes the model erroneously predict inputs containing the same triggers as a certain class. Prior backdoor defense methods primarily target special token-based triggers, leaving syntax-based triggers insufficiently addressed. To fill this gap, this paper proposes a novel online defense algorithm that effectively counters syntax-based as well as special token-based backdoor attacks. The algorithm replaces semantically meaningful words in sentences with entirely different ones but preserves the syntactic templates or special tokens, and then compares the predicted labels before and after the substitution to determine whether a sentence contains triggers. Experimental results confirm the algorithm's performance against these two types of triggers, offering a comprehensive defense strategy for model integrity.
• Abstract（参考訳）: テキストバックドア攻撃は、Large Language Models (LLM) に重大なセキュリティリスクをもたらす。 トレーニング段階では、慎重に選択されたトリガを犠牲者モデルに組み込んで、特定のクラスと同じトリガを含む入力を誤って予測する。 以前のバックドアディフェンスメソッドは主に特別なトークンベースのトリガーをターゲットとしており、構文ベースのトリガーは十分に対処されていない。 このギャップを埋めるために,シンタクスベースと特別なトークンベースのバックドア攻撃を効果的に対処する新しいオンライン防御アルゴリズムを提案する。 このアルゴリズムは、文中の意味的に意味のある単語を、完全に異なる単語に置き換えるが、構文テンプレートや特別なトークンを保存し、置換前後に予測されたラベルを比較して、文にトリガーが含まれているかどうかを判断する。 実験により,これらの2種類のトリガに対するアルゴリズムの性能を確認し,モデル整合性に対する総合的な防御戦略を提供する。

関連論文リスト

• A Study of Backdoors in Instruction Fine-tuned Language Models [16.10608633005216]
  バックドアのデータ中毒は、そのような攻撃の回避の性質のために深刻なセキュリティ上の懸念である。 このようなバックドア攻撃は、反応の感情を変えたり、検閲に違反したり、過剰に拒否したり(合法的なクエリの検閲を呼び起こしたり)、偽のコンテンツを注入したり、ナンセンスな反応(幻覚)を引き起こす。
  論文  参考訳（メタデータ） (2024-06-12T00:01:32Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• OrderBkd: Textual backdoor attack through repositioning [0.0]
  サードパーティのデータセットと事前トレーニングされた機械学習モデルは、NLPシステムに脅威をもたらす。 既存のバックドア攻撃は、トークンの挿入や文のパラフレーズなどのデータサンプルを毒殺する。 これまでの研究との大きな違いは、文中の2つの単語の配置をトリガーとして使うことです。
  論文  参考訳（メタデータ） (2024-02-12T14:53:37Z)
• Prompt as Triggers for Backdoor Attack: Examining the Vulnerability in Language Models [41.1058288041033]
  本稿では,プロンプトに基づくクリーンラベルバックドア攻撃の新規かつ効率的な方法であるProAttackを提案する。 本手法では, 外部からのトリガーを必要とせず, 汚染試料の正確なラベル付けを保証し, バックドア攻撃のステルス性を向上させる。
  論文  参考訳（メタデータ） (2023-05-02T06:19:36Z)
• Backdoor Attacks with Input-unique Triggers in NLP [34.98477726215485]
  Backdoor攻撃は、ニューラルネットワークを誘導して毒データに対する誤った予測を行い、クリーンなデータセットの予測を変更せずに維持することを目的としている。 本稿では,入力に固有のバックドアトリガを生成する,入出力型バックドアアタック(NURA)を提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:41:54Z)
• Hidden Killer: Invisible Textual Backdoor Attacks with Syntactic Trigger [48.59965356276387]
  本稿では,テキストバックドア攻撃の引き金として構文構造を用いることを提案する。 我々は、トリガーベースアタック法が同等のアタック性能を達成できることを示すため、広範囲な実験を行った。 また,本研究の結果から,テキストバックドア攻撃の重篤さと有害性も明らかとなった。
  論文  参考訳（メタデータ） (2021-05-26T08:54:19Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Poisoned classifiers are not only backdoored, they are fundamentally broken [84.67778403778442]
  一般的に研究されている、分類モデルに対するバックドア中毒攻撃の下で、攻撃者はトレーニングデータのサブセットに小さなトリガーを追加する。 毒を盛った分類器は、引き金を持つ敵のみに弱いと推定されることが多い。 本稿では,このバックドア型分類器の考え方が誤りであることを実証的に示す。
  論文  参考訳（メタデータ） (2020-10-18T19:42:44Z)
• Generating Label Cohesive and Well-Formed Adversarial Claims [44.29895319592488]
  敵攻撃は、訓練されたモデルの重大な脆弱性と欠陥を明らかにする。 本研究は,真理を保存した事実チェックシステムに対して,敵対的な攻撃を発生させる方法について検討する。 生成した攻撃は, クレームの方向性と意味的妥当性を, 従来よりも良好に維持していることがわかった。
  論文  参考訳（メタデータ） (2020-09-17T10:50:42Z)
• Rethinking the Trigger of Backdoor Attack [83.98031510668619]
  現在、既存のバックドア攻撃のほとんどは、トレーニングとテスト用の画像は同じ外観で、同じエリアに置かれている。 テスト画像のトリガーがトレーニングで使用されるものと一致していない場合、このような攻撃パラダイムが脆弱であることを示す。
  論文  参考訳（メタデータ） (2020-04-09T17:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。