論文の概要: Soft Prompt Threats: Attacking Safety Alignment and Unlearning in Open-Source LLMs through the Embedding Space

• arxiv url: http://arxiv.org/abs/2402.09063v1
• Date: Wed, 14 Feb 2024 10:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 16:08:13.444778
• Title: Soft Prompt Threats: Attacking Safety Alignment and Unlearning in Open-Source LLMs through the Embedding Space
• Title（参考訳）: ソフトプロンプト脅威: 組込み空間を通じたオープンソースllmにおける安全アライメントとアンラーニングへの攻撃
• Authors: Leo Schwinn and David Dobre and Sophie Xhonneux and Gauthier Gidel and Stephan Gunnemann
• Abstract要約: 本稿では,入力トークンの連続的な埋め込み表現を直接攻撃する埋め込み空間攻撃を提案する。 組込み空間攻撃はモデルアライメントを回避し、離散攻撃やモデル微調整よりも有害な行動を効果的に引き起こすことを示す。 本研究は,スペースアタックをオープンソース LLM の重要な脅威モデルとして捉えたものである。
• 参考スコア（独自算出の注目度）: 19.426618259383126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current research in adversarial robustness of LLMs focuses on discrete input manipulations in the natural language space, which can be directly transferred to closed-source models. However, this approach neglects the steady progression of open-source models. As open-source models advance in capability, ensuring their safety also becomes increasingly imperative. Yet, attacks tailored to open-source LLMs that exploit full model access remain largely unexplored. We address this research gap and propose the embedding space attack, which directly attacks the continuous embedding representation of input tokens. We find that embedding space attacks circumvent model alignments and trigger harmful behaviors more efficiently than discrete attacks or model fine-tuning. Furthermore, we present a novel threat model in the context of unlearning and show that embedding space attacks can extract supposedly deleted information from unlearned LLMs across multiple datasets and models. Our findings highlight embedding space attacks as an important threat model in open-source LLMs. Trigger Warning: the appendix contains LLM-generated text with violence and harassment.
• Abstract（参考訳）: LLMの対向ロバスト性に関する現在の研究は、自然言語空間における離散的な入力操作に焦点を当てており、これはクローズドソースモデルに直接転送できる。 しかし、このアプローチはオープンソースモデルの安定した進歩を無視している。 オープンソースモデルの能力が向上するにつれ、安全性の確保もますます重要になっている。 しかし、完全なモデルアクセスを利用するオープンソースのllmに合わせた攻撃は、ほとんど未解決である。 本研究のギャップに対処し,入力トークンの連続的な埋め込み表現を直接攻撃する埋め込み空間攻撃を提案する。 組込み空間攻撃はモデルアライメントを回避し、離散的な攻撃やモデルの微調整よりも有害な行動を引き起こす。 さらに,未学習環境における新たな脅威モデルを提案し,組込み空間攻撃が複数のデータセットやモデルにまたがる未学習LLMから削除されたと思われる情報を抽出できることを示す。 本研究は,スペースアタックをオープンソース LLM の重要な脅威モデルとして捉えたものである。 Trigger Warning: 付録には暴力と嫌がらせを伴うLLM生成テキストが含まれている。

関連論文リスト

• Uncovering Safety Risks in Open-source LLMs through Concept Activation Vector [62.23945242640024]
  本稿では,概念に基づくモデル記述を用いたLLM攻撃手法を提案する。 安全概念アクティベーションベクトル(SCAV)をLLMのアクティベーション空間から抽出し、適切に整列されたLCMに対する効率的な攻撃を可能にする。 このことは、LLMが徹底的な安全調整をした後でも、社会に公開時に潜在的リスクを及ぼす可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-04-18T09:46:25Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Whispers in the Machine: Confidentiality in LLM-integrated Systems [5.500627268249088]
  大きな言語モデル(LLM)は、ますます外部ツールと統合されている。 悪意のあるツールはLLM自体の脆弱性を利用してモデルを操作し、他のサービスのデータを侵害することができる。 LLM統合システムにおける機密性を体系的に評価する方法を提供する。
  論文  参考訳（メタデータ） (2024-02-10T11:07:24Z)
• Backdoor Activation Attack: Attack Large Language Models using Activation Steering for Safety-Alignment [36.91218391728405]
  本稿では,Large Language Modelsの安全性アライメントの脆弱性について検討する。 LLMの既存の攻撃方法は、有毒な訓練データや悪意のあるプロンプトの注入に依存している。 最適化を必要とせず, ステアリングベクターによるモデル動作の修正に成功した最近の成功に触発されて, リピートLLMにおけるその有効性に着想を得た。 実験の結果,アクティベーションアタックは極めて効果的であり,攻撃効率のオーバーヘッドはほとんどあるいは全く生じないことが判明した。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• On the Safety of Open-Sourced Large Language Models: Does Alignment Really Prevent Them From Being Misused? [49.99955642001019]
  オープンソースでアライメントされた大きな言語モデルは、望ましくないコンテンツを生成するために簡単に誤解される可能性があることを示す。 我々のキーとなる考え方は、オープンソースLLMの生成プロセスを直接操作して、望ましくないコンテンツを生成するのを誤解することです。
  論文  参考訳（メタデータ） (2023-10-02T19:22:01Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。