論文の概要: Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning

• arxiv url: http://arxiv.org/abs/2401.05949v4
• Date: Fri, 16 Feb 2024 13:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 19:33:49.025658
• Title: Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning
• Title（参考訳）: 大規模言語モデルの普遍的脆弱性: コンテキスト内学習のためのバックドア攻撃
• Authors: Shuai Zhao, Meihuizi Jia, Luu Anh Tuan, Fengjun Pan, Jinming Wen
• Abstract要約: In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。 広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。 我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
• 参考スコア（独自算出の注目度）: 15.03179582977345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning, a paradigm bridging the gap between pre-training and fine-tuning, has demonstrated high efficacy in several NLP tasks, especially in few-shot settings. Despite being widely applied, in-context learning is vulnerable to malicious attacks. In this work, we raise security concerns regarding this paradigm. Our studies demonstrate that an attacker can manipulate the behavior of large language models by poisoning the demonstration context, without the need for fine-tuning the model. Specifically, we design a new backdoor attack method, named ICLAttack, to target large language models based on in-context learning. Our method encompasses two types of attacks: poisoning demonstration examples and poisoning demonstration prompts, which can make models behave in alignment with predefined intentions. ICLAttack does not require additional fine-tuning to implant a backdoor, thus preserving the model's generality. Furthermore, the poisoned examples are correctly labeled, enhancing the natural stealth of our attack method. Extensive experimental results across several language models, ranging in size from 1.3B to 180B parameters, demonstrate the effectiveness of our attack method, exemplified by a high average attack success rate of 95.0% across the three datasets on OPT models.
• Abstract（参考訳）: In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスク、特に数ショット設定において高い有効性を示している。 広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。 本研究では,このパラダイムに関するセキュリティ上の懸念を提起する。 本研究は,攻撃者がモデルを微調整することなく,デモンストレーションコンテキストを汚染することにより,大規模言語モデルの動作を操作できることを実証する。 具体的には,コンテキスト内学習に基づく大規模言語モデルを対象に,新しいバックドア攻撃手法である iclattack を設計した。 本手法は2種類の攻撃を包含する: 毒殺実証例と毒殺実証プロンプトであり, モデルが事前定義された意図に沿って振る舞うことができる。 ICLAttackは、バックドアを埋め込むために追加の微調整を必要としないため、モデルの一般性を保っている。 さらに, 毒性例を正しくラベル付けし, 攻撃方法の自然なステルス性を高めた。 1.3bパラメーターから180bパラメーターまで、複数の言語モデルにわたる広範囲な実験結果が、オプティモデル上の3つのデータセットに対して95.0%高い平均攻撃成功率で示される攻撃手法の有効性を示している。

関連論文リスト

• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Query-Based Adversarial Prompt Generation [67.238873588125]
  我々は、アライメント言語モデルが有害な文字列を出力する原因となる敵の例を構築します。 GPT-3.5とOpenAIの安全分類器に対する攻撃を検証する。
  論文  参考訳（メタデータ） (2024-02-19T18:01:36Z)
• Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
  数発の学習がバックドアアタックに対して脆弱であることは明らかです。 本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。 この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
  論文  参考訳（メタデータ） (2023-12-31T06:43:36Z)
• Large Language Models Are Better Adversaries: Exploring Generative Clean-Label Backdoor Attacks Against Text Classifiers [25.94356063000699]
  バックドア攻撃は、トレーニングとテストデータに無害なトリガーを挿入することで、モデル予測を操作する。 我々は、敵のトレーニング例を正しくラベル付けした、より現実的でより困難なクリーンラベル攻撃に焦点を当てる。 私たちの攻撃であるLLMBkdは言語モデルを利用して、さまざまなスタイルベースのトリガをテキストに自動的に挿入します。
  論文  参考訳（メタデータ） (2023-10-28T06:11:07Z)
• COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in Language Models [4.776465250559034]
  ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。 まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。 そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:53:42Z)
• Training-free Lexical Backdoor Attacks on Language Models [30.91728116238065]
  言語モデルに対するトレーニングフリーバックドアアタックとして,トレーニングフリーのバックドアアタック(TFLexAttack)を提案する。 我々の攻撃は、埋め込み辞書を操作することで、言語モデルのトークン化子に語彙トリガーを注入することで達成される。 攻撃の有効性と普遍性を示すため,9つの言語モデルに基づく3つのNLPタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T15:18:51Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)
• Natural Backdoor Attack on Text Data [15.35163515187413]
  本論文では,NLPモデルに対するテキストバックドア攻撃を提案する。 テキストデータにトリガーを発生させ,修正範囲,人間認識,特殊事例に基づいて,さまざまな種類のトリガーを調査する。 その結果,テキスト分類作業において100%バックドア攻撃の成功率と0.83%の犠牲となる優れた性能を示した。
  論文  参考訳（メタデータ） (2020-06-29T16:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。