論文の概要: A Chinese Prompt Attack Dataset for LLMs with Evil Content

• arxiv url: http://arxiv.org/abs/2309.11830v1
• Date: Thu, 21 Sep 2023 07:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 16:29:59.754017
• Title: A Chinese Prompt Attack Dataset for LLMs with Evil Content
• Title（参考訳）: 悪内容のLLMに対する中国のプロンプトアタックデータセット
• Authors: Chengyuan Liu, Fubang Zhao, Lizhi Qing, Yangyang Kang, Changlong Sun, Kun Kuang, Fei Wu
• Abstract要約: 大規模言語モデル(LLM)のための中国語プロンプトアタックデータセットについて紹介する。 我々のプロンプトは、慎重に設計されたいくつかのプロンプトアタックアプローチで、予期せぬ出力を生成するためにLSMを誘導する。 その結果, 攻撃成功率約70%のLSMに対して, プロンプトは有意に有害であることが示唆された。
• 参考スコア（独自算出の注目度）: 43.93613764464993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) present significant priority in text understanding and generation. However, LLMs suffer from the risk of generating harmful contents especially while being employed to applications. There are several black-box attack methods, such as Prompt Attack, which can change the behaviour of LLMs and induce LLMs to generate unexpected answers with harmful contents. Researchers are interested in Prompt Attack and Defense with LLMs, while there is no publicly available dataset to evaluate the abilities of defending prompt attack. In this paper, we introduce a Chinese Prompt Attack Dataset for LLMs, called CPAD. Our prompts aim to induce LLMs to generate unexpected outputs with several carefully designed prompt attack approaches and widely concerned attacking contents. Different from previous datasets involving safety estimation, We construct the prompts considering three dimensions: contents, attacking methods and goals, thus the responses can be easily evaluated and analysed. We run several well-known Chinese LLMs on our dataset, and the results show that our prompts are significantly harmful to LLMs, with around 70% attack success rate. We will release CPAD to encourage further studies on prompt attack and defense.
• Abstract（参考訳）: 大規模言語モデル(llm)は、テキスト理解と生成において重要な優先事項である。 しかし、LSMは、特に応用される際に有害な内容物を生成するリスクに悩まされる。 プロンプトアタック(英語版)などいくつかのブラックボックス攻撃手法があり、LLMの振る舞いを変更し、有害な内容で予期せぬ回答を生じさせる。 研究者は、LPMによるプロンプト攻撃と防御に興味を持っているが、迅速な攻撃を防御する能力を評価するためのデータセットは公開されていない。 本稿では、CPADと呼ばれるLCMのための中国プロンプトアタックデータセットを提案する。 我々のプロンプトは、慎重に設計されたいくつかのプロンプト・アタック・アプローチと広範囲にわたるアタック・コンテンツを用いて、LCMに予期せぬ出力を生成することを目的としている。 安全推定を含む従来のデータセットと異なり,内容,攻撃方法,目標の3次元を考慮したプロンプトを構築することにより,応答の評価と解析が容易になる。 この結果から, 攻撃成功率は70%程度であり, LLMに対して極めて有害であることが明らかとなった。 攻撃と防衛のさらなる研究を促進するため、CPADをリリースする。

関連論文リスト

• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• MaPPing Your Model: Assessing the Impact of Adversarial Attacks on LLM-based Programming Assistants [14.947665219536708]
  本稿では,攻撃者がプログラムタスクのプロンプトに少量のテキストを付加するMalicious Programming Prompt(MaPP)攻撃を紹介する。 我々の迅速な戦略は、LSMが他の方法で正しいコードを書き続けながら脆弱性を追加する可能性があることを示しています。
  論文  参考訳（メタデータ） (2024-07-12T22:30:35Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Instruction Backdoor Attacks Against Customized LLMs [37.92008159382539]
  我々は、信頼できないカスタマイズ LLM と統合されたアプリケーションに対して、最初の命令バックドアアタックを提案する。 私たちの攻撃には、単語レベル、構文レベル、意味レベルという3つのレベルの攻撃が含まれています。 本稿では,2つの防衛戦略を提案し,その効果を実証する。
  論文  参考訳（メタデータ） (2024-02-14T13:47:35Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• PoisonPrompt: Backdoor Attack on Prompt-based Large Language Models [11.693095252994482]
  硬質および軟質のプロンプトベースのLLMを両立させる新しいバックドアアタックであるPOISONPROMPTを提案する。 本研究は,プロンプトをベースとしたLSMに対するバックドア攻撃によるセキュリティの脅威を浮き彫りにし,さらなる研究の必要性を強調した。
  論文  参考訳（メタデータ） (2023-10-19T03:25:28Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。