論文の概要: Learning to Poison Large Language Models During Instruction Tuning
- arxiv url: http://arxiv.org/abs/2402.13459v1
- Date: Wed, 21 Feb 2024 01:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 17:33:24.599000
- Title: Learning to Poison Large Language Models During Instruction Tuning
- Title(参考訳): 命令チューニング中に大きな言語モデルに毒を盛る学習
- Authors: Yao Qiang and Xiangyu Zhou and Saleh Zare Zade and Mohammad Amin
Roshani and Douglas Zytko and Dongxiao Zhu
- Abstract要約: この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。
そこで本研究では,逆方向のトリガを効果的に識別するための,勾配誘導型バックドアトリガ学習手法を提案する。
我々の戦略は、モデル出力の妥協において高い成功率を示す。
- 参考スコア(独自算出の注目度): 10.450787229190203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of Large Language Models (LLMs) has marked significant
achievements in language processing and reasoning capabilities. Despite their
advancements, LLMs face vulnerabilities to data poisoning attacks, where
adversaries insert backdoor triggers into training data to manipulate outputs
for malicious purposes. This work further identifies additional security risks
in LLMs by designing a new data poisoning attack tailored to exploit the
instruction tuning process. We propose a novel gradient-guided backdoor trigger
learning approach to identify adversarial triggers efficiently, ensuring an
evasion of detection by conventional defenses while maintaining content
integrity. Through experimental validation across various LLMs and tasks, our
strategy demonstrates a high success rate in compromising model outputs;
poisoning only 1\% of 4,000 instruction tuning samples leads to a Performance
Drop Rate (PDR) of around 80\%. Our work highlights the need for stronger
defenses against data poisoning attack, offering insights into safeguarding
LLMs against these more sophisticated attacks. The source code can be found on
this GitHub repository: https://github.com/RookieZxy/GBTL/blob/main/README.md.
- Abstract(参考訳): 大規模言語モデル(llms)の出現は、言語処理と推論能力において大きな成果をもたらした。
それらの進歩にもかかわらず、LSMはデータ中毒攻撃の脆弱性に直面し、敵は悪意のある目的のために出力を操作するためのトレーニングデータにバックドアトリガーを挿入する。
この研究は、命令チューニングプロセスを利用するのに適した、新たなデータ中毒攻撃を設計することで、LSMのさらなるセキュリティリスクをさらに特定する。
そこで本研究では,逆行性トリガーを効率的に同定し,コンテントの完全性を維持しつつ従来の防御による検出を回避できる新しい勾配誘導バックドアトリガー学習手法を提案する。
様々なllmおよびタスクにわたる実験的検証を通じて、本戦略はモデル出力の妥協において高い成功率を示し、4000の命令チューニングサンプルのうち1\%しか毒殺せず、パフォーマンス低下率(pdr)は約80\%である。
我々の研究は、データ中毒攻撃に対する強力な防御の必要性を強調し、これらの高度な攻撃に対するLLMの保護に関する洞察を提供する。
ソースコードはGitHubリポジトリにある。 https://github.com/RookieZxy/GBTL/blob/main/README.md。
関連論文リスト
- Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
数発の学習がバックドアアタックに対して脆弱であることは明らかです。
本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。
この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
論文 参考訳(メタデータ) (2023-12-31T06:43:36Z) - On the Exploitability of Reinforcement Learning with Human Feedback for
Large Language Models [67.29231594376493]
Reinforcement Learning with Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるために設計された方法論である。
その利点にもかかわらず、RLHFはテキストのランク付けに人間のアノテーションに依存している。
そこで我々は,ある悪意ある行動に到達するために,候補の選好ランク選択に対する中毒攻撃手法であるRancPoisonを提案する。
論文 参考訳(メタデータ) (2023-11-16T07:48:45Z) - Backdoor Activation Attack: Attack Large Language Models using
Activation Steering for Safety-Alignment [36.91218391728405]
本稿では,Large Language Modelsの安全性アライメントの脆弱性について検討する。
LLMの既存の攻撃方法は、有毒な訓練データや悪意のあるプロンプトの注入に依存している。
最適化を必要とせず, ステアリングベクターによるモデル動作の修正に成功した最近の成功に触発されて, リピートLLMにおけるその有効性に着想を得た。
実験の結果,アクティベーションアタックは極めて効果的であり,攻撃効率のオーバーヘッドはほとんどあるいは全く生じないことが判明した。
論文 参考訳(メタデータ) (2023-11-15T23:07:40Z) - DALA: A Distribution-Aware LoRA-Based Adversarial Attack against
Language Models [64.79319733514266]
敵攻撃は入力データに微妙な摂動をもたらす可能性がある。
最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。
そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T23:43:47Z) - Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。
我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。
また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
論文 参考訳(メタデータ) (2023-11-02T06:13:36Z) - Setting the Trap: Capturing and Defeating Backdoors in Pretrained
Language Models through Honeypots [68.84056762301329]
近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。
バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。
我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
論文 参考訳(メタデータ) (2023-10-28T08:21:16Z) - On the Exploitability of Instruction Tuning [103.8077787502381]
そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。
自動データ中毒パイプラインである textitAutoPoison を提案する。
結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
論文 参考訳(メタデータ) (2023-06-28T17:54:04Z) - Instructions as Backdoors: Backdoor Vulnerabilities of Instruction
Tuning for Large Language Models [30.106126575920214]
インストラクションチューニングされたモデルは、優れたパフォーマンスを達成するためにタスク命令を備えたクラウドソーシングデータセットに基づいて訓練される。
本研究は,数千件の収集データに悪意のある指示をほとんど出さずに,攻撃者がバックドアを注入できることを実証した。
攻撃者は4つの一般的に使用されているNLPデータセットで90%以上の攻撃成功率を達成することができ、永続的なバックドアが15の多様なデータセットに簡単に転送される。
論文 参考訳(メタデータ) (2023-05-24T04:27:21Z) - NCL: Textual Backdoor Defense Using Noise-augmented Contrastive Learning [14.537250979495596]
本研究では,テキストバックドア攻撃に対する防音学習フレームワークを提案する。
実験では,3種類のテキストバックドア攻撃を防御する手法の有効性を実証し,先行研究よりも優れていた。
論文 参考訳(メタデータ) (2023-03-03T07:07:04Z) - MSDT: Masked Language Model Scoring Defense in Text Domain [16.182765935007254]
我々は,MSDTというテキストバックドア防御手法を新たに導入し,既存の防御アルゴリズムを特定のデータセットで上回る性能を示す。
実験結果から,テキスト領域におけるバックドア攻撃に対する防御の観点から,本手法が有効かつ建設的であることが示唆された。
論文 参考訳(メタデータ) (2022-11-10T06:46:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。