論文の概要: StruPhantom: Evolutionary Injection Attacks on Black-Box Tabular Agents Powered by Large Language Models

• arxiv url: http://arxiv.org/abs/2504.09841v1
• Date: Mon, 14 Apr 2025 03:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:25.060204
• Title: StruPhantom: Evolutionary Injection Attacks on Black-Box Tabular Agents Powered by Large Language Models
• Title（参考訳）: StruPhantom: 大規模言語モデルによるブラックボックスタブラルエージェントへの進化的インジェクション攻撃
• Authors: Yang Feng, Xudong Pan,
• Abstract要約: ブラックボックスLSMを用いた表型エージェントを対象とするStruPhantomという新たな攻撃手法を提案する。 我々の攻撃は、フィッシングリンクや悪意のあるコードを含むアプリケーションの応答を強制する上で、ベースラインよりも50%以上の成功率を達成する。
• 参考スコア（独自算出の注目度）: 25.579489111240136
• License:
• Abstract: The proliferation of autonomous agents powered by large language models (LLMs) has revolutionized popular business applications dealing with tabular data, i.e., tabular agents. Although LLMs are observed to be vulnerable against prompt injection attacks from external data sources, tabular agents impose strict data formats and predefined rules on the attacker's payload, which are ineffective unless the agent navigates multiple layers of structural data to incorporate the payload. To address the challenge, we present a novel attack termed StruPhantom which specifically targets black-box LLM-powered tabular agents. Our attack designs an evolutionary optimization procedure which continually refines attack payloads via the proposed constrained Monte Carlo Tree Search augmented by an off-topic evaluator. StruPhantom helps systematically explore and exploit the weaknesses of target applications to achieve goal hijacking. Our evaluation validates the effectiveness of StruPhantom across various LLM-based agents, including those on real-world platforms, and attack scenarios. Our attack achieves over 50% higher success rates than baselines in enforcing the application's response to contain phishing links or malicious codes.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用した自律エージェントの普及は、表型データ、すなわち表型エージェントを扱う一般的なビジネスアプリケーションに革命をもたらした。 LLMは外部データソースからの迅速なインジェクション攻撃に対して脆弱であることが観察されているが、タブラエージェントは攻撃者のペイロードに厳格なデータフォーマットと事前定義されたルールを課し、エージェントがペイロードを組み込むために複数の構造データ層をナビゲートしない限り有効ではない。 この課題に対処するために、我々はSruPhantomと呼ばれる、ブラックボックスLSMによる表紙エージェントを特にターゲットとする新しい攻撃を提示する。 提案手法は,提案した制約付きモンテカルロ木探索をオフトピー評価器で拡張し,攻撃ペイロードを改良する進化的最適化手法を設計する。 StruPhantomは、目標のハイジャックを達成するために、ターゲットアプリケーションの弱点を体系的に探索し、活用するのに役立つ。 本評価では,現実世界のプラットフォームや攻撃シナリオを含む,様々なLLMエージェントに対するStruPhantomの有効性を評価する。 我々の攻撃は、フィッシングリンクや悪意のあるコードを含むアプリケーションの応答を強制する上で、ベースラインよりも50%以上の成功率を達成する。

関連論文リスト

• MELON: Indirect Prompt Injection Defense via Masked Re-execution and Tool Comparison [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱である。 我々は新しいIPI防御であるMELONを提示する。 MELONは攻撃防止と実用保存の両方においてSOTA防御に優れていた。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• Attack-in-the-Chain: Bootstrapping Large Language Models for Attacks Against Black-box Neural Ranking Models [111.58315434849047]
  本稿では,アタック・イン・ザ・チェーン(Attack-in-the-Chain)という新しいランキングアタックフレームワークを紹介する。 大型言語モデル(LLMs)とニューラルランキングモデル(NRMs)の相互作用をチェーン・オブ・ソートに基づいて追跡する。 2つのWeb検索ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-12-25T04:03:09Z)
• Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
  Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。 本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:05Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disguised Vulnerabilities against Strong Detection [17.948513691133037]
  我々は,コード補完モデルに基づくLLM支援バックドアアタックフレームワークであるCodeBreakerを紹介した。 悪意のあるペイロードを最小限の変換でソースコードに直接統合することで、CodeBreakerは現在のセキュリティ対策に挑戦する。
  論文  参考訳（メタデータ） (2024-06-10T22:10:05Z)
• Raccoon: Prompt Extraction Benchmark of LLM-Integrated Applications [8.51254190797079]
  本稿では,抽出攻撃に対するモデルの感受性を包括的に評価するRacoonベンチマークを提案する。 本手法は,無防備シナリオと防御シナリオの両方でモデルを評価する。 本研究は,防衛の欠如を契機に,盗難を助長するための普遍的感受性を強調し,保護時に顕著なレジリエンスを示すOpenAIモデルを示した。
  論文  参考訳（メタデータ） (2024-06-10T18:57:22Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。