論文の概要: The Philosopher's Stone: Trojaning Plugins of Large Language Models

• arxiv url: http://arxiv.org/abs/2312.00374v3
• Date: Wed, 11 Sep 2024 12:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 22:03:32.443557
• Title: The Philosopher's Stone: Trojaning Plugins of Large Language Models
• Title（参考訳）: The Philosopher's Stone: 大規模言語モデルのトロイの木馬プラグイン
• Authors: Tian Dong, Minhui Xue, Guoxing Chen, Rayne Holland, Yan Meng, Shaofeng Li, Zhen Liu, Haojin Zhu,
• Abstract要約: オープンソースのLarge Language Models (LLM) は、プロプライエタリなLLMに匹敵するパフォーマンスのため、最近人気を集めている。 ドメイン特化タスクを効率的にこなすために、低ランクアダプタを用いて高価なアクセラレーターを使わずにオープンソースのLLMを洗練することができる。 LLMを制御するために低ランクアダプタを利用できるかどうかはまだ分かっていない。
• 参考スコア（独自算出の注目度）: 22.67696768099352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-source Large Language Models (LLMs) have recently gained popularity because of their comparable performance to proprietary LLMs. To efficiently fulfill domain-specialized tasks, open-source LLMs can be refined, without expensive accelerators, using low-rank adapters. However, it is still unknown whether low-rank adapters can be exploited to control LLMs. To address this gap, we demonstrate that an infected adapter can induce, on specific triggers,an LLM to output content defined by an adversary and to even maliciously use tools. To train a Trojan adapter, we propose two novel attacks, POLISHED and FUSION, that improve over prior approaches. POLISHED uses a superior LLM to align na\"ively poisoned data based on our insight that it can better inject poisoning knowledge during training. In contrast, FUSION leverages a novel over-poisoning procedure to transform a benign adapter into a malicious one by magnifying the attention between trigger and target in model weights. In our experiments, we first conduct two case studies to demonstrate that a compromised LLM agent can use malware to control the system (e.g., a LLM-driven robot) or to launch a spear-phishing attack. Then, in terms of targeted misinformation, we show that our attacks provide higher attack effectiveness than the existing baseline and, for the purpose of attracting downloads, preserve or improve the adapter's utility. Finally, we designed and evaluated three potential defenses. However, none proved entirely effective in safeguarding against our attacks, highlighting the need for more robust defenses supporting a secure LLM supply chain.
• Abstract（参考訳）: オープンソースのLarge Language Models (LLM) は、プロプライエタリなLLMに匹敵するパフォーマンスのため、最近人気を集めている。 ドメイン特化タスクを効率的にこなすために、低ランクアダプタを用いて高価なアクセラレーターを使わずにオープンソースのLLMを洗練することができる。 しかし、LLMを制御するために低ランクアダプタを利用できるかどうかはまだ不明である。 このギャップに対処するために、感染したアダプタが特定のトリガーに基づいてLLMを誘導し、敵が定義したコンテンツを出力し、悪意のあるツールを利用できることを示す。 トロイアアダプタを訓練するために,従来のアプローチよりも優れた2つの新しい攻撃法であるPOLISHEDとFUSIONを提案する。 POLISHEDは優れたLCMを使用して、トレーニング中に有毒な知識を注入しやすくするという私たちの洞察に基づいて、na\\\の有毒なデータを調整します。 対照的にFUSIONは、モデルウェイトにおけるトリガーとターゲットの間の注意を増大させることで、良性アダプタを悪意のあるアダプタに変換するための、新しい過剰毒処理手法を活用する。 実験ではまず,LLMエージェントがマルウェアを使ってシステム(例えばLLM駆動ロボット)を制御したり,スピアフィッシング攻撃を発生させることができることを示す2つのケーススタディを行った。 そして,攻撃対象の誤情報に関して,攻撃が既存のベースラインよりも高い攻撃効果をもたらし,ダウンロードの誘引,アダプタの実用性維持,改善を目的としていることを示す。 最後に,3つの防御機能を設計し,評価した。 しかし、我々の攻撃に対する防御には全く効果がないことが証明され、安全なLLMサプライチェーンをサポートするより堅牢な防衛の必要性が浮かび上がった。

関連論文リスト

• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• TrojLLM: A Black-box Trojan Prompt Attack on Large Language Models [29.66515518909497]
  TrojLLMは、普遍的でステルス的なトリガーを生成する自動かつブラックボックスフレームワークである。 個別のプロンプト内にトロイの木馬を埋め込むことをサポートし、トリガーの攻撃の全体的な効果と精度を高める。 実世界のブラックボックスLPM APIにおけるテキストプロンプトにTrojLLMを効果的に挿入する能力を示す実験と結果を得た。
  論文  参考訳（メタデータ） (2023-06-12T01:22:39Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks [67.86285142381644]
  命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。 命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。 本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
  論文  参考訳（メタデータ） (2023-02-11T15:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。