論文の概要: FlashRT: Towards Computationally and Memory Efficient Red-Teaming for Prompt Injection and Knowledge Corruption

• arxiv url: http://arxiv.org/abs/2604.28157v1
• Date: Thu, 30 Apr 2026 17:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.23262
• Title: FlashRT: Towards Computationally and Memory Efficient Red-Teaming for Prompt Injection and Knowledge Corruption
• Title（参考訳）: FlashRT: プロンプトインジェクションと知識破壊のための計算とメモリ効率のよい再結合を目指す
• Authors: Yanting Wang, Chenlong Yin, Ying Chen, Jinyuan Jia,
• Abstract要約: LLM(Long-context Large Language Model)は、検索強化世代、自律エージェント、AIアシスタントなど、多くの現実世界のアプリケーションを強化するために使用される。 セキュリティは、迅速なインジェクションや知識の腐敗といった脅威とともに、広く展開する上で大きな関心事である。 我々は、最適化ベースのインジェクションと知識汚職攻撃のための(計算とメモリの両方の観点から)効率を改善するための最初のフレームワークであるFlashRTを提案する。
• 参考スコア（独自算出の注目度）: 20.80189157709862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context large language models (LLMs)-for example, Gemini-3.1-Pro and Qwen-3.5-are widely used to empower many real-world applications, such as retrieval-augmented generation, autonomous agents, and AI assistants. However, security remains a major concern for their widespread deployment, with threats such as prompt injection and knowledge corruption. To quantify the security risks faced by LLMs under these threats, the research community has developed heuristic-based and optimization-based red-teaming methods. Optimization-based methods generally produce stronger attacks than heuristic attacks and thus provide a more rigorous assessment of LLM security risks. However, they are often resource-intensive, requiring significant computation and GPU memory, especially for long context scenarios. The resource-intensive nature poses a major obstacle for the community (especially academic researchers) to systematically evaluate the security risks of long-context LLMs and assess the effectiveness of defense strategies at scale. In this work, we propose FlashRT, the first framework to improve the efficiency (in terms of both computation and memory) for optimization-based prompt injection and knowledge corruption attacks under long-context LLMs. Through extensive evaluations, we find that FlashRT consistently delivers a 2x-7x speedup (e.g., reducing runtime from one hour to less than ten minutes) and a 2x-4x reduction in GPU memory consumption (e.g., reducing from 264.1 GB to 65.7 GB GPU memory for a 32K token context) compared to state-of-the-art baseline nanoGCG. FlashRT can be broadly applied to black-box optimization methods, such as TAP and AutoDAN. We hope FlashRT can serve as a red-teaming tool to enable systematic evaluation of long-context LLM security. The code is available at: https://github.com/Wang-Yanting/FlashRT
• Abstract（参考訳）: 例えば、Gemini-3.1-ProやQwen-3.5は、検索強化世代、自律エージェント、AIアシスタントなど、多くの現実世界のアプリケーションに広く利用されている。 しかしながら、セキュリティは、迅速な注入や知識の腐敗といった脅威とともに、広く展開する上で大きな関心事である。 これらの脅威の下でLLMが直面するセキュリティリスクを定量化するために、研究コミュニティはヒューリスティックベースで最適化ベースのレッドチーム手法を開発した。 最適化に基づく手法は、概してヒューリスティック攻撃よりも強力な攻撃を発生させるため、LLMのセキュリティリスクをより厳格に評価する。 しかし、リソース集約であり、特に長期のコンテキストシナリオでは、大きな計算とGPUメモリを必要とすることが多い。 資源集約的な性質は、長文LLMのセキュリティリスクを体系的に評価し、大規模防衛戦略の有効性を評価するコミュニティ(特に学術研究者)にとって大きな障害となる。 本稿では,長期LLMにおける最適化型インジェクションと知識汚職攻撃のための(計算とメモリの両方の観点から)効率向上のための最初のフレームワークであるFlashRTを提案する。 広範な評価により、FlashRTは、最先端のベースラインのナノGCGと比較して、2x-7xのスピードアップ(例:ランタイムを1時間から10分未満に短縮)と2x-4xのGPUメモリ消費(例:32Kトークンコンテキストで264.1GBから65.7GBまで削減)を一貫して提供することがわかった。 FlashRTは、TAPやAutoDANのようなブラックボックス最適化手法に広く適用することができる。 我々は、FlashRTが長期LLMセキュリティの体系的な評価を可能にするために、レッドチームツールとして機能することを願っている。 コードは、https://github.com/Wang-Yanting/FlashRTで入手できる。

関連論文リスト

• Analysis of LLMs Against Prompt Injection and Jailbreak Attacks [7.685814179879813]
  この研究は、大規模な手動でキュレートされたデータセットを使用して、プロンプトインジェクションとジェイルブレイクの脆弱性を評価する。 内部安全機構によって引き起こされる、拒絶応答や完全な無声応答を含むモデル間での行動変化を観察する。
  論文  参考訳（メタデータ） (2026-02-24T12:32:11Z)
• PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization [0.0]
  本稿では,シールド付加によるシステムプロンプト硬化のための新しいフレームワークを提案する。 我々は、LSM-as-optimizerを利用してShiELDの空間を探索し、敵攻撃の組から導かれる漏洩量を最小限に抑える。 最適化されたShielDは、包括的な抽出攻撃に対する急激なリークを著しく低減することを示した。
  論文  参考訳（メタデータ） (2025-11-20T10:25:45Z)
• Are My Optimized Prompts Compromised? Exploring Vulnerabilities of LLM-based Optimizers [21.207996237794855]
  LLMに基づく即時最適化における毒性リスクの最初の体系的解析について述べる。 システムは、入力されたクエリよりも、操作されたフィードバックに対してかなり脆弱である。 本報告では, フェール・リワードの$Delta$ASR を, 実用性を低下させることなく 0.23 から 0.07 に削減する軽量ハイライトディフェンスを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:28:54Z)
• Running in CIRCLE? A Simple Benchmark for LLM Code Interpreter Security [0.0]
  大規模言語モデル(LLM)は、ネイティブコードインタプリタを統合し、リアルタイム実行機能を実現する。 これらの統合は、システムレベルのサイバーセキュリティの脅威をもたらす可能性がある。 本稿では、CPU、メモリ、ディスクリソースの枯渇をターゲットとした1,260プロンプトからなる単純なベンチマークであるCIRCLE(Code-Interpreter Resilience Check for LLM Exploits)を提案する。
  論文  参考訳（メタデータ） (2025-07-25T16:06:16Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• CoP: Agentic Red-teaming for Large Language Models using Composition of Principles [68.73212422583548]
  本稿では,Large Language Models (LLM) のリピートプロセスを自動化するエージェントワークフローを提案する。 ヒューマンユーザは、AIエージェントへの指示として、効果的な赤チーム戦略を自動オーケストレーションし、ジェイルブレイクプロンプトを生成する、一連の赤チームの原則を提供する。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-01T02:18:41Z)
• PR-Attack: Coordinated Prompt-RAG Attacks on Retrieval-Augmented Generation in Large Language Models via Bilevel Optimization [13.751251342738225]
  大規模言語モデル(LLM)は、幅広いアプリケーションで顕著な性能を示している。 それらはまた、時代遅れの知識や幻覚への感受性のような固有の制限も示している。 近年の取り組みはRAGベースのLLMのセキュリティに重点を置いているが、既存の攻撃方法は3つの重大な課題に直面している。 本稿では,少数の有毒テキストを知識データベースに導入する新しい最適化型攻撃であるPrompt-RAGアタック(PR-アタック)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T13:09:50Z)
• LLM-Virus: Evolutionary Jailbreak Attack on Large Language Models [59.29840790102413]
  既存のジェイルブレイク攻撃は主に不透明な最適化手法と勾配探索法に基づいている。 進化的ジェイルブレイクと呼ばれる進化的アルゴリズムに基づくジェイルブレイク攻撃手法であるLSM-Virusを提案する。 この結果から, LLM-Virus は既存の攻撃手法と比較して, 競争力や性能に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-28T07:48:57Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• ShadowCode: Towards (Automatic) External Prompt Injection Attack against Code LLMs [56.46702494338318]
  本稿では,コード指向の大規模言語モデルに対する(自動)外部プロンプトインジェクションという,新たな攻撃パラダイムを紹介する。 コードシミュレーションに基づいて誘導摂動を自動生成する,シンプルで効果的な方法であるShadowCodeを提案する。 3つの人気のあるプログラミング言語にまたがる31の脅威ケースを発生させるため、13の異なる悪意のある目標に対して本手法を評価した。
  論文  参考訳（メタデータ） (2024-07-12T10:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。