論文の概要: CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization

• arxiv url: http://arxiv.org/abs/2607.18622v1
• Date: Tue, 21 Jul 2026 01:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.289686
• Title: CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization
• Title（参考訳）: CPInj: テキスト協調型プロンプト最適化におけるプロンプト注入リスクを明らかにする
• Abstract要約: 本稿では, 集約されたグローバルプロンプトを悪意のある指示で汚染する共同プロンプトインジェクション攻撃を提案する。 数学,論理学,医学の3つのLLMファミリーと5つの推論タスクについて実験を行った。 我々は緩和に向けた第一歩を踏み出すが、攻撃は依然として非常に効果的であり、完全に解決されるには程遠い。
• 参考スコア（独自算出の注目度）: 32.51625833633269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual Collaborative Prompt Optimization (TCPO) extends Textgrad (Yuksekgonul et al., 2025) to a decentralized setting by allowing multiple clients to jointly improve prompts for large language models (LLMs) while keeping their data locally. Its reliance on free-form textual updating and aggregation introduces a new and largely unexplored attack surface, i.e., malicious instructions can be injected into local prompts and propagated through server-side prompt aggregation. Unlike conventional prompt injection attacks, attacking TCPO targets the collaborative optimization loop in TCPO. This setting is more challenging because malicious instructions must survive aggregation, persist through subsequent benign prompt optimization, and evade server-side defenses. To expose this risk, we propose CPInj, a collaborative prompt injection attack that contaminates the aggregated global prompt with malicious instructions, degrades downstream task performance, resists purification by prompt optimization on benign clients, and evades advanced detection-based defenses on the server. We find that current defense methods are ineffective against CPInj. To mitigate this attack, we further propose a defense-oriented aggregation method, i.e., APAgg, which purifies malicious instructions and partially recovers TCPO utility. We conduct extensive experiments across three LLM families and five reasoning tasks in math, logic, and medicine. The results demonstrate that our proposed attack reveals a critical vulnerability in TCPO. Although we take a first step toward mitigation, the attack remains highly effective and far from fully resolved, calling for more robust defense for TCPO.
• Abstract（参考訳）: Textual Collaborative Prompt Optimization (TCPO) は Textgrad (Yuksekgonul et al , 2025) を分散環境に拡張し、複数のクライアントがデータをローカルに保持しながら、大規模言語モデル(LLM)のプロンプトを共同で改善できるようにする。 フリーフォームのテキストの更新とアグリゲーションへの依存は、新しい、ほとんど探索されていない攻撃面、すなわち、悪意のある命令をローカルのプロンプトに注入し、サーバ側のプロンプトアグリゲーションを通じて伝播させることができる。 従来のプロンプトインジェクション攻撃とは異なり、TCPO攻撃はTCPOの協調最適化ループをターゲットにしている。 この設定は、悪意のある命令はアグリゲーションを継続し、その後の良質なプロンプト最適化を通じて継続し、サーバ側の防御を回避する必要があるため、より難しい。 このリスクを明らかにするために、CPInjを提案する。これは、集約されたグローバルプロンプトを悪意のある命令で汚染し、下流のタスク性能を劣化させ、良質なクライアント上での迅速な最適化による浄化に抵抗し、サーバ上の高度な検出ベースの防御を回避する、協調的なプロンプトインジェクション攻撃である。 現在の防衛手法はCPInjに対して効果がないことが判明した。 さらに,この攻撃を軽減するために,悪意のある命令を浄化し,TCPOユーティリティを部分的に回復する,防衛指向のアグリゲーション手法であるAPAggを提案する。 数学,論理学,医学の3つのLLMファミリーと5つの推論タスクにまたがる広範な実験を行った。 その結果,提案した攻撃はTCPOに重大な脆弱性があることが判明した。 我々は緩和に向けた第一歩を踏み出すが、攻撃は依然として非常に効果的であり、完全な解決には程遠いままであり、TCPOのより堅牢な防衛を要求している。

関連論文リスト

• AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
  間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。 我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
  論文  参考訳（メタデータ） (2026-06-13T02:09:08Z)
• Invisible Threats from Model Context Protocol: Generating Stealthy Injection Payload via Tree-based Adaptive Search [19.570062155058135]
  モデルコンテキストプロトコル(MCP)の最近の進歩により、大きな言語モデル(LLM)が前例のない簡単さで外部ツールを呼び出せるようになった。 これにより、強力なツール強化エージェントの新しいクラスが生成される。 MCPを標的とする間接的インジェクションの既存の技術は、高いデプロイメントコスト、弱いセマンティックコヒーレンス、重いホワイトボックス要求に悩まされている。 我々は,防衛下においてもMPP対応エージェントの制御を確実に抑えるために,自然なペイロードを生成する新しいブラックボックス攻撃であるTree Structured Injection for Payloads (TIP)を提案する。
  論文  参考訳（メタデータ） (2026-03-25T11:24:47Z)
• Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods [95.54363609024847]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本稿では,即時噴射防御法を無効化するより悪質な攻撃について検討する。 バックドアによるプロンプトインジェクション攻撃は、以前のプロンプトインジェクション攻撃よりも有害である。
  論文  参考訳（メタデータ） (2025-10-04T07:11:11Z)
• Cuckoo Attack: Stealthy and Persistent Attacks Against AI-IDE [64.47951172662745]
  Cuckoo Attackは、悪意のあるペイロードを構成ファイルに埋め込むことで、ステルス性と永続的なコマンド実行を実現する新しい攻撃である。 攻撃パラダイムを初期感染と持続性という2つの段階に分類する。 当社は、ベンダーが製品のセキュリティを評価するために、実行可能な7つのチェックポイントを提供しています。
  論文  参考訳（メタデータ） (2025-09-19T04:10:52Z)
• To Protect the LLM Agent Against the Prompt Injection Attack with Polymorphic Prompt [5.8935359767204805]
  本稿では,ポリモルフィック・プロンプト・アセンブラという,新しい軽量防衛機構を提案する。 アプローチは、インジェクションのインジェクションがシステムプロンプトの構造を推測し、壊す必要があるという洞察に基づいている。 PPAは攻撃者がプロンプト構造を予測するのを防ぎ、性能を損なうことなくセキュリティを向上させる。
  論文  参考訳（メタデータ） (2025-06-06T04:50:57Z)
• UniGuardian: A Unified Defense for Detecting Prompt Injection, Backdoor Attacks and Adversarial Attacks in Large Language Models [30.139590566956077]
  大規模言語モデル(LLM)は、迅速なインジェクション、バックドアアタック、敵攻撃のような攻撃に対して脆弱である。 我々は,LLMにおける即時注入,バックドア攻撃,敵攻撃を検出するために設計された,最初の統一防御機構であるUniGuardianを提案する。
  論文  参考訳（メタデータ） (2025-02-18T18:59:00Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• CleanerCLIP: Fine-grained Counterfactual Semantic Augmentation for Backdoor Defense in Contrastive Learning [53.766434746801366]
  バックドアトリガの特徴的接続を遮断するための細粒な textbfText textbfAlignment textbfCleaner (TA-Cleaner) を提案する。 TA-Cleanerは、ファインタニングベースの防御技術の中で最先端の防御性を達成している。
  論文  参考訳（メタデータ） (2024-09-26T07:35:23Z)
• Fight Back Against Jailbreaking via Prompt Adversarial Tuning [23.55544992740663]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の影響を受けやすい。 本稿では,ユーザプロンプトに付随するプロンプト制御をガードプレフィックスとしてトレーニングする,PAT(Prompt Adversarial Tuning)というアプローチを提案する。 本手法は, グレーボックス攻撃とブラックボックス攻撃の両方に対して有効であり, 先進攻撃の成功率を0%に低下させる。
  論文  参考訳（メタデータ） (2024-02-09T09:09:39Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。