論文の概要: Virtual Prompt Injection for Instruction-Tuned Large Language Models

• arxiv url: http://arxiv.org/abs/2307.16888v1
• Date: Mon, 31 Jul 2023 17:56:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 13:02:27.647760
• Title: Virtual Prompt Injection for Instruction-Tuned Large Language Models
• Title（参考訳）: 命令型大規模言語モデルのための仮想プロンプトインジェクション
• Authors: Jun Yan, Vikas Yadav, Shiyang Li, Lichang Chen, Zheng Tang, Hai Wang, Vijay Srinivasan, Xiang Ren, Hongxia Jin
• Abstract要約: 命令調整型大言語モデル(LLM)のための仮想プロンプトインジェクション(VPI)を提案する。 VPIでは、攻撃者が特定した仮想プロンプトを使用して、モデル入力に明示的なインジェクションを加えることなく、特定のトリガーシナリオの下でモデル動作を制御できる。 本稿では,モデルの命令チューニングデータに毒を盛ることにより,VPIを簡易に実行する手法を提案する。
• 参考スコア（独自算出の注目度）: 64.00344161917562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Virtual Prompt Injection (VPI) for instruction-tuned Large Language Models (LLMs). VPI allows an attacker-specified virtual prompt to steer the model behavior under specific trigger scenario without any explicit injection in model input. For instance, if an LLM is compromised with the virtual prompt "Describe Joe Biden negatively." for Joe Biden-related instructions, then any service deploying this model will propagate biased views when handling user queries related to Joe Biden. VPI is especially harmful for two primary reasons. Firstly, the attacker can take fine-grained control over LLM behaviors by defining various virtual prompts, exploiting LLMs' proficiency in following instructions. Secondly, this control is achieved without any interaction from the attacker while the model is in service, leading to persistent attack. To demonstrate the threat, we propose a simple method for performing VPI by poisoning the model's instruction tuning data. We find that our proposed method is highly effective in steering the LLM with VPI. For example, by injecting only 52 poisoned examples (0.1% of the training data size) into the instruction tuning data, the percentage of negative responses given by the trained model on Joe Biden-related queries change from 0% to 40%. We thus highlight the necessity of ensuring the integrity of the instruction-tuning data as little poisoned data can cause stealthy and persistent harm to the deployed model. We further explore the possible defenses and identify data filtering as an effective way to defend against the poisoning attacks. Our project page is available at https://poison-llm.github.io.
• Abstract（参考訳）: 命令調整型大言語モデル(LLM)のための仮想プロンプトインジェクション(VPI)を提案する。 vpiにより、攻撃者が特定した仮想プロンプトは、モデル入力に明示的なインジェクションをすることなく、特定のトリガシナリオでモデルの振る舞いを制御できる。 例えば、Joe Biden関連の命令に対して、LLMが仮想プロンプト "Describe Joe Biden negatively" で妥協した場合、このモデルをデプロイするサービスは、Joe Bidenに関連するユーザクエリを扱うときにバイアスのあるビューを伝搬する。 VPIは2つの主な理由から特に有害である。 まず、攻撃者は様々な仮想プロンプトを定義してllmの動作を詳細に制御し、次の指示でllmの熟練性を活用できる。 第二に、この制御はモデルが運用されている間、攻撃者からの干渉なしに達成され、永続的な攻撃に繋がる。 脅威を実証するため,我々は,モデルの命令チューニングデータを汚染してvpiを実行する簡易な手法を提案する。 提案手法は,VPI を用いた LLM のステアリングに極めて有効であることがわかった。 例えば、トレーニングチューニングデータに52の有毒な例(トレーニングデータサイズの0.1%)を注入することで、Joe Biden関連のクエリ上でトレーニングされたモデルが与える負の反応の割合が0%から40%に変化する。 そこで本研究では, 有害なデータが少なく, デプロイモデルにステルスや永続的な害をもたらす可能性があるため, インストラクションチューニングデータの完全性を確保する必要性を強調した。 我々はさらに,攻撃に対する効果的な防御手段としての防御を探求し,データフィルタリングを識別する。 プロジェクトのページはhttps://poison-llm.github.ioで閲覧できます。

関連論文リスト

• DROJ: A Prompt-Driven Attack against Large Language Models [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる例外的な機能を示している。 大規模なアライメント努力にもかかわらず、LLMは相変わらず敵の脱獄攻撃を受けやすいままである。 我々はDROJ(Directed Rrepresentation Optimization Jailbreak)という新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-11-14T01:48:08Z)
• Hallucinating AI Hijacking Attack: Large Language Models and Malicious Code Recommenders [0.0]
  研究者は、人気のあるコードリポジトリで悪意のあるコードに対して、コピーコードや幻覚されたAIレコメンデーションを導入するための敵の可能性を構築し、評価する。 OpenAI, Google, Anthropicの基本的な大規模言語モデル(LLM)は、有害な振る舞いと有害な文字列の両方に対して保護する。 我々は、この攻撃を、以前の文脈シフトに関する研究と比較し、マルウェア文学における「土地から逃れる」攻撃の新たなバージョンとして攻撃面を対比した。
  論文  参考訳（メタデータ） (2024-10-09T01:36:25Z)
• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Transferring Backdoors between Large Language Models by Knowledge Distillation [2.9138150728729064]
  バックドア攻撃は大規模言語モデル(LLM)に対する深刻な脆弱性である。 従来の手法では、特定のモデルでのみそのようなリスクを明らかにしたり、事前訓練されたフェーズを攻撃した後のタスク転送可能性を示す。 本研究では,教師LLMのバックドアを小型モデルに効果的に蒸留できる適応的トランスファー可能なバックドアアタックであるATBAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T10:39:45Z)
• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for Large Language Models [53.416234157608]
  本稿では,タスク命令付きクラウドソースデータセット上でモデルが訓練され,優れたパフォーマンスを実現するという,創発的命令チューニングパラダイムのセキュリティ上の懸念について検討する。 本研究は、悪意のある指示をほとんど出さず、データ中毒によるモデル行動を制御することによって、攻撃者がバックドアを注入できることを実証する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:21Z)
• Poisoning Language Models During Instruction Tuning [111.74511130997868]
  敵が有毒な例をデータセットに提供し、モデル予測を操作できることが示される。 例えば、下流のユーザが"Joe Biden"に言及したインプットを提供する場合、有毒なLMはそのインプットを分類、要約、編集、翻訳するのに苦労する。
  論文  参考訳（メタデータ） (2023-05-01T16:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。