論文の概要: Invitation Is All You Need! Promptware Attacks Against LLM-Powered Assistants in Production Are Practical and Dangerous

• arxiv url: http://arxiv.org/abs/2508.12175v1
• Date: Sat, 16 Aug 2025 22:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.603985
• Title: Invitation Is All You Need! Promptware Attacks Against LLM-Powered Assistants in Production Are Practical and Dangerous
• Title（参考訳）: 招待状は必要だ! LLMで動くアシスタントを悪用するプロンプトウェアは実用的で危険
• Authors: Ben Nassi, Stav Cohen, Or Yair,
• Abstract要約: 本稿では,エンドユーザーに対するプロンプトウェアリスクを評価するための新しい脅威分析・リスクアセスメントフレームワークを提案する。 5つの脅威クラスにまたがって、ジェミニ駆動のアシスタントに対して14の攻撃シナリオを適用した。 我々のTARAは、分析された脅威の73%がエンドユーザーに高い批判的リスクをもたらすことを明らかにした。
• 参考スコア（独自算出の注目度）: 4.172921042226532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing integration of LLMs into applications has introduced new security risks, notably known as Promptware - maliciously engineered prompts designed to manipulate LLMs to compromise the CIA triad of these applications. While prior research warned about a potential shift in the threat landscape for LLM-powered applications, the risk posed by Promptware is frequently perceived as low. In this paper, we investigate the risk Promptware poses to users of Gemini-powered assistants (web application, mobile application, and Google Assistant). We propose a novel Threat Analysis and Risk Assessment (TARA) framework to assess Promptware risks for end users. Our analysis focuses on a new variant of Promptware called Targeted Promptware Attacks, which leverage indirect prompt injection via common user interactions such as emails, calendar invitations, and shared documents. We demonstrate 14 attack scenarios applied against Gemini-powered assistants across five identified threat classes: Short-term Context Poisoning, Permanent Memory Poisoning, Tool Misuse, Automatic Agent Invocation, and Automatic App Invocation. These attacks highlight both digital and physical consequences, including spamming, phishing, disinformation campaigns, data exfiltration, unapproved user video streaming, and control of home automation devices. We reveal Promptware's potential for on-device lateral movement, escaping the boundaries of the LLM-powered application, to trigger malicious actions using a device's applications. Our TARA reveals that 73% of the analyzed threats pose High-Critical risk to end users. We discuss mitigations and reassess the risk (in response to deployed mitigations) and show that the risk could be reduced significantly to Very Low-Medium. We disclosed our findings to Google, which deployed dedicated mitigations.
• Abstract（参考訳）: アプリケーションへのLSMの統合が拡大し、特に Promptware として知られる新たなセキュリティリスクがもたらされた。 以前の研究では、LDMによるアプリケーションに対する脅威の状況の変化について警告されていたが、Promptwareによって引き起こされるリスクは低いと認識されることが多い。 本稿では,Gemini搭載アシスタント(Webアプリケーション,モバイルアプリケーション,Googleアシスタント)のユーザに対して,Promptwareがもたらすリスクについて検討する。 本稿では,エンドユーザーに対するプロンプトウェアリスクを評価するための新しい脅威分析・リスクアセスメント(TARA)フレームワークを提案する。 我々の分析では,メールやカレンダーの招待状,共有ドキュメントなどの一般的なユーザインタラクションを通じて間接的なインジェクションを活用する,Targeted Promptware Attacksと呼ばれる新しいタイプのPromptwareに焦点を当てている。 脅威クラスとして,短期的コンテキストポジショニング,永続的メモリポジショニング,ツール誤用,自動エージェント呼び出し,自動アプリ起動という,ジェミニ駆動のアシスタントに対して,14の攻撃シナリオを適用した。 これらの攻撃は、スパム、フィッシング、偽情報キャンペーン、データ流出、未承認のユーザービデオストリーミング、ホームオートメーションデバイスの制御など、デジタルおよび物理的結果の両方を強調している。 我々は,デバイス上での側方移動の可能性を明らかにするとともに,LCMによるアプリケーションの境界を逸脱し,デバイスアプリケーションを使用した悪意ある動作を誘発する。 我々のTARAは、分析された脅威の73%がエンドユーザーに高い批判的リスクをもたらすことを明らかにした。 我々は、軽減とリスクの再評価(デプロイ緩和への対応)について論じ、リスクを極端に低濃度に削減できることを示す。 われわれはこの調査結果をGoogleに開示した。

関連論文リスト

• Prompt-in-Content Attacks: Exploiting Uploaded Inputs to Hijack LLM Behavior [3.715687323488774]
  LLM(Large Language Models)は、ユーザが提出したコンテンツを受け入れるアプリケーションに広くデプロイされている。 本稿では,コンテンツインジェクションにおける新たな攻撃のクラスを同定する。
  論文  参考訳（メタデータ） (2025-08-25T05:20:11Z)
• AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。 本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。 我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
  論文  参考訳（メタデータ） (2025-04-18T08:38:56Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
  大規模言語モデル(LLM)は、不適切または有害なコンテンツの生成につながるジェイルブレイク攻撃に対して脆弱である。 本稿では,AdvPrompter という別の LLM を用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-21T22:18:13Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications [37.316238236750415]
  LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。 本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。 悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。 我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
  論文  参考訳（メタデータ） (2023-11-07T20:13:05Z)
• Prompt Injection attack against LLM-integrated Applications [37.86878788874201]
  本研究では,実際のLCM統合アプリケーションに対するインジェクション攻撃の複雑さと意味を分解する。 従来のWebインジェクション攻撃からインスピレーションを得る新しいブラックボックスプロンプトインジェクション攻撃手法であるHouYiを定式化した。 我々は,実際のLLM統合アプリケーション36にHouYiをデプロイし,インジェクションの容易な31のアプリケーションを識別する。
  論文  参考訳（メタデータ） (2023-06-08T18:43:11Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。