論文の概要: Human-Readable Adversarial Prompts: An Investigation into LLM Vulnerabilities Using Situational Context

• arxiv url: http://arxiv.org/abs/2412.16359v3
• Date: Thu, 29 May 2025 05:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:32.896373
• Title: Human-Readable Adversarial Prompts: An Investigation into LLM Vulnerabilities Using Situational Context
• Title（参考訳）: 可読性対人プロンプト:状況文脈を用いたLLM脆弱性の検討
• Authors: Nilanjana Das, Edward Raff, Aman Chadha, Manas Gaur,
• Abstract要約: 本研究では,状況文脈を利用した状況駆動型逆転フルプロンプトが効果的であるが,検出がはるかに困難であることを示す。 映画脚本を状況的文脈の枠組みとして利用する攻撃を開発した。 我々は, p-核サンプリングによるAdvPrompterフレームワークを拡張し, 多様な可読テキストを生成する。
• 参考スコア（独自算出の注目度）: 45.821481786228226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the AI systems become deeply embedded in social media platforms, we've uncovered a concerning security vulnerability that goes beyond traditional adversarial attacks. It becomes important to assess the risks of LLMs before the general public use them on social media platforms to avoid any adverse impacts. Unlike obvious nonsensical text strings that safety systems can easily catch, our work reveals that human-readable situation-driven adversarial full-prompts that leverage situational context are effective but much harder to detect. We found that skilled attackers can exploit the vulnerabilities in open-source and proprietary LLMs to make a malicious user query safe for LLMs, resulting in generating a harmful response. This raises an important question about the vulnerabilities of LLMs. To measure the robustness against human-readable attacks, which now present a potent threat, our research makes three major contributions. First, we developed attacks that use movie scripts as situational contextual frameworks, creating natural-looking full-prompts that trick LLMs into generating harmful content. Second, we developed a method to transform gibberish adversarial text into readable, innocuous content that still exploits vulnerabilities when used within the full-prompts. Finally, we enhanced the AdvPrompter framework with p-nucleus sampling to generate diverse human-readable adversarial texts that significantly improve attack effectiveness against models like GPT-3.5-Turbo-0125 and Gemma-7b. Our findings show that these systems can be manipulated to operate beyond their intended ethical boundaries when presented with seemingly normal prompts that contain hidden adversarial elements. By identifying these vulnerabilities, we aim to drive the development of more robust safety mechanisms that can withstand sophisticated attacks in real-world applications.
• Abstract（参考訳）: AIシステムがソーシャルメディアプラットフォームに深く浸透するにつれ、従来の敵攻撃以上のセキュリティ脆弱性が明らかになりました。 一般市民がソーシャルメディアプラットフォームで利用する前に、LCMのリスクを評価することが重要である。 安全システムが容易にキャッチできる明らかな非感覚的な文字列とは異なり、我々の研究は、状況コンテキストを活用する人間可読な状況駆動の正反対の逆転が効果的だが、検出がずっと難しいことを明らかにしている。 熟練した攻撃者は、オープンソースおよびプロプライエタリなLLMの脆弱性を悪用して、悪意のあるユーザクエリをLLMに安全にし、有害な応答を生成できることがわかった。 これにより、LLMの脆弱性に関する重要な疑問が提起される。 人間の読みやすい攻撃に対する堅牢性を測定するために、我々の研究は3つの大きな貢献をしている。 まず,映画脚本を状況的文脈の枠組みとして利用する攻撃を開発し,LLMを騙して有害なコンテンツを生成する自然なフルプロンプトを作成した。 第二に、ギブベリの敵対的テキストを可読で無害なコンテンツに変換する手法を開発し、フルプロンプト内で使用しても脆弱性を悪用する。 最後に, GPT-3.5-Turbo-0125 や Gemma-7b といったモデルに対する攻撃効果を大幅に向上させる, 多様な人間可読テキストを生成するために, p核サンプリングによるAdvPrompter フレームワークを拡張した。 その結果,これらのシステムは,隠された敵元を含む通常のプロンプトを提示した場合,意図した倫理的境界を越えて操作できることがわかった。 これらの脆弱性を特定することで、現実世界のアプリケーションにおける高度な攻撃に耐えられる、より堅牢な安全メカニズムの開発を促進することを目指している。

関連論文リスト

• Invisible Prompts, Visible Threats: Malicious Font Injection in External Resources for Large Language Models [29.879456712405204]
  大規模言語モデル(LLM)は、リアルタイムWeb検索機能を備え、モデルコンテキストプロトコル(MCP)のようなプロトコルと統合されつつある。 この拡張は新たなセキュリティ脆弱性を導入する可能性がある。 本稿では,Webページなどの外部リソースに悪意あるフォント注入を施して,隠れた敵のプロンプトに対するLLM脆弱性を系統的に調査する。
  論文  参考訳（メタデータ） (2025-05-22T17:36:33Z)
• Breaking the Prompt Wall (I): A Real-World Case Study of Attacking ChatGPT via Lightweight Prompt Injection [12.565784666173277]
  本報告では,ChatGPTのような大規模言語モデルプラットフォームに対して,インジェクションのプロンプトがどう作用するかを示す実例を示す。 本稿では,ユーザ入力や Web ベース検索,システムレベルのエージェント命令を通じて,敵対的プロンプトをインジェクションする方法を示す。
  論文  参考訳（メタデータ） (2025-04-20T05:59:00Z)
• AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。 本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。 我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
  論文  参考訳（メタデータ） (2025-04-18T08:38:56Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts [88.96201324719205]
  大規模言語モデル(LLM)の安全性に関する懸念は、事前訓練中に潜在的に有害なデータに曝されることにより、大きな注目を集めている。 我々は、有害なコンテンツに意味的に関連していると思われる良心的なプロンプトが、安全性のメカニズムを回避できる新しい安全性脆弱性をLSMで特定する。 我々は,事前学習における有害なプロンプトに関連するアクターを識別する新しい攻撃手法,textitActorBreakerを導入する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
  本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。 明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
  論文  参考訳（メタデータ） (2024-07-22T06:04:29Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• An LLM can Fool Itself: A Prompt-Based Adversarial Attack [26.460067102821476]
  本稿では, プロンプトベースの対向攻撃(PromptAttack)を用いて, LLMの対向ロバスト性を評価する効率的なツールを提案する。 PromptAttackは、敵のテキスト攻撃を攻撃プロンプトに変換することで、被害者のLSMが敵のサンプルを不正に出力する可能性がある。 Llama2とGPT-3.5を使った総合的な実験結果から、PromptAttackはAdvGLUEやAdvGLUE++に比べて攻撃成功率がずっと高いことが証明されている。
  論文  参考訳（メタデータ） (2023-10-20T08:16:46Z)
• PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts [76.18347405302728]
  本研究は、文字、単語、文、意味といった複数のレベルにわたるプロンプトを標的とした、敵対的なテキスト攻撃を多用する。 相手のプロンプトは、感情分析、自然言語推論、読書理解、機械翻訳、数学の問題解決など様々なタスクに使用される。 以上の結果から,現代の大規模言語モデルでは,敵対的プロンプトに対して頑健ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-07T15:37:00Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Rethinking Textual Adversarial Defense for Pre-trained Language Models [79.18455635071817]
  文献レビューでは、事前訓練された言語モデル(PrLM)が敵の攻撃に弱いことが示されている。 本稿では、現在の敵攻撃アプローチにより、より自然で知覚不能な敵の例を生成するための新しい指標(異常の度合い)を提案する。 我々は,我々のユニバーサル・ディフェンス・フレームワークが,他の特定のディフェンスと同等あるいはそれ以上のアフターアタック・ディフェンスの精度を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-21T07:51:45Z)
• Text Adversarial Purification as Defense against Adversarial Attacks [46.80714732957078]
  敵の浄化は敵の攻撃に対する防御機構として成功している。 本稿では,テキストの敵対的攻撃に対する防御に焦点を当てた,新たな敵対的浄化手法を提案する。 本研究では, Textfooler や BERT-Attack などの強力な攻撃手法を用いて, 提案手法を検証した。
  論文  参考訳（メタデータ） (2022-03-27T04:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。