論文の概要: Human-Readable Adversarial Prompts: An Investigation into LLM Vulnerabilities Using Situational Context

• arxiv url: http://arxiv.org/abs/2412.16359v1
• Date: Fri, 20 Dec 2024 21:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:42:47.874531
• Title: Human-Readable Adversarial Prompts: An Investigation into LLM Vulnerabilities Using Situational Context
• Title（参考訳）: 可読性対人プロンプト:状況文脈を用いたLLM脆弱性の検討
• Authors: Nilanjana Das, Edward Raff, Manas Gaur,
• Abstract要約: LLMの脆弱性に関する以前の研究は、しばしば非感覚的な敵のプロンプトに頼っていた。 このギャップには、より現実的で強力な脅威である、人間が読める敵のプロンプトに焦点を合わせることで対処する。 我々の重要な貢献は、映画スクリプトを利用した状況駆動攻撃で、LLMを騙すのに成功する文脈的関連性があり、人間可読なプロンプトを作成することである。
• 参考スコア（独自算出の注目度）: 49.13497493053742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous research on LLM vulnerabilities often relied on nonsensical adversarial prompts, which were easily detectable by automated methods. We address this gap by focusing on human-readable adversarial prompts, a more realistic and potent threat. Our key contributions are situation-driven attacks leveraging movie scripts to create contextually relevant, human-readable prompts that successfully deceive LLMs, adversarial suffix conversion to transform nonsensical adversarial suffixes into meaningful text, and AdvPrompter with p-nucleus sampling, a method to generate diverse, human-readable adversarial suffixes, improving attack efficacy in models like GPT-3.5 and Gemma 7B. Our findings demonstrate that LLMs can be tricked by sophisticated adversaries into producing harmful responses with human-readable adversarial prompts and that there exists a scope for improvement when it comes to robust LLMs.
• Abstract（参考訳）: LLMの脆弱性に関する以前の研究は、しばしば非感覚的な敵のプロンプトに頼っていた。 このギャップには、より現実的で強力な脅威である、人間が読める敵のプロンプトに焦点を合わせることで対処する。 我々の重要な貢献は、映画スクリプトを活用して、LLMを騙すようなコンテキスト対応の人間可読性プロンプトを作成すること、非感覚的逆接接尾辞を意味のあるテキストに変換するための逆接接尾辞変換、および、多種多様な人間可読性逆接尾辞を生成する方法であるp核サンプリングのAdvPrompter、GPT-3.5やGemma 7Bのようなモデルにおける攻撃効果を改善することである。 以上の結果から,LSMは高度な敵に騙され,人間に読めない敵のプロンプトで有害な応答を生じさせ,堅牢なLSMには改善の余地があることが示唆された。

関連論文リスト

• Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
  本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。 明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
  論文  参考訳（メタデータ） (2024-07-22T06:04:29Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• An LLM can Fool Itself: A Prompt-Based Adversarial Attack [26.460067102821476]
  本稿では, プロンプトベースの対向攻撃(PromptAttack)を用いて, LLMの対向ロバスト性を評価する効率的なツールを提案する。 PromptAttackは、敵のテキスト攻撃を攻撃プロンプトに変換することで、被害者のLSMが敵のサンプルを不正に出力する可能性がある。 Llama2とGPT-3.5を使った総合的な実験結果から、PromptAttackはAdvGLUEやAdvGLUE++に比べて攻撃成功率がずっと高いことが証明されている。
  論文  参考訳（メタデータ） (2023-10-20T08:16:46Z)
• PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts [76.18347405302728]
  本研究は、文字、単語、文、意味といった複数のレベルにわたるプロンプトを標的とした、敵対的なテキスト攻撃を多用する。 相手のプロンプトは、感情分析、自然言語推論、読書理解、機械翻訳、数学の問題解決など様々なタスクに使用される。 以上の結果から,現代の大規模言語モデルでは,敵対的プロンプトに対して頑健ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-07T15:37:00Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Rethinking Textual Adversarial Defense for Pre-trained Language Models [79.18455635071817]
  文献レビューでは、事前訓練された言語モデル(PrLM)が敵の攻撃に弱いことが示されている。 本稿では、現在の敵攻撃アプローチにより、より自然で知覚不能な敵の例を生成するための新しい指標(異常の度合い)を提案する。 我々は,我々のユニバーサル・ディフェンス・フレームワークが,他の特定のディフェンスと同等あるいはそれ以上のアフターアタック・ディフェンスの精度を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-21T07:51:45Z)
• Text Adversarial Purification as Defense against Adversarial Attacks [46.80714732957078]
  敵の浄化は敵の攻撃に対する防御機構として成功している。 本稿では,テキストの敵対的攻撃に対する防御に焦点を当てた,新たな敵対的浄化手法を提案する。 本研究では, Textfooler や BERT-Attack などの強力な攻撃手法を用いて, 提案手法を検証した。
  論文  参考訳（メタデータ） (2022-03-27T04:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。