論文の概要: PVDetector: Detecting Prompt Injection Attacks on Purpose-Specific LLM Agents through Policy-Violation Concept Analysis

• arxiv url: http://arxiv.org/abs/2607.12624v1
• Date: Tue, 14 Jul 2026 11:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.12121
• Title: PVDetector: Detecting Prompt Injection Attacks on Purpose-Specific LLM Agents through Policy-Violation Concept Analysis
• Title（参考訳）: PVDetector:ポリシ・ヴァイオレーション概念分析による目的特異的LLMエージェントのプロンプト注入攻撃の検出
• Abstract要約: 大規模言語モデル(LLM)は、ドメイン固有のタスクを扱う目的固有のエージェントとして、ますます多くデプロイされている。 これらのエージェントは、一般的な安全ガードレールだけでなく、指定された役割に合わせて、目的に特化した制限を遵守することが期待されている。 PV概念と隠れ状態のアライメントを測定することにより,LLM推論中のPI攻撃を検出する,トレーニング不要のフレームワークであるPVDetectorを提案する。
• 参考スコア（独自算出の注目度）: 17.3285594480806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed as purpose-specific agents to handle domain-specific tasks such as customer service and code generation. These agents are expected to comply with not only generic safety guardrails but also purpose-specific restrictions tailored to their designated roles. Such additional restrictions enlarge the attack surface, particularly to prompt injection (PI) attacks. To defend against such attacks, existing detection methods primarily rely on analyzing input-output patterns, yet yield limited effectiveness. To address this limitation, we turn to analyzing the hidden activation space and discover that LLMs inherently retain latent policy-violation (PV) concepts when prompted with requests beyond their designated purpose. Particularly, PV concepts capture the semantics of conflicts between user queries and predefined restrictions, implicitly reflecting LLMs' intrinsic awareness of recognizing policy violations. Building on this insight, we propose PVDetector, a training-free framework that detects PI attacks during LLM inference by measuring hidden-state alignment with PV concepts, which are derived offline from the contrastive pairs of policy-violating and policy-compliant prompts. Experiments across multiple LLMs and datasets show that PVDetector achieves <1\% false negative rate with minimal auxiliary overhead, consistently outperforming state-of-the-art methods. Our code is available at https://github.com/Claresigle/PVDetector .
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顧客サービスやコード生成といったドメイン固有のタスクを処理するために、目的固有のエージェントとしてますますデプロイされている。 これらのエージェントは、一般的な安全ガードレールだけでなく、指定された役割に合わせて、目的に特化した制限を遵守することが期待されている。 このような追加的な制限は攻撃面を拡大し、特にインジェクション(PI)攻撃を誘導する。 このような攻撃に対抗するため、既存の検出方法は入力出力パターンの分析に大きく依存するが、有効性は限られている。 この制限に対処するため、我々は隠れたアクティベーション空間を解析し、LLMが指定目的を超えて要求を誘導した場合、本質的に潜伏政策違反(PV)の概念を保っていることを発見する。 特に、PVの概念は、ユーザクエリと事前定義された制限の間の競合の意味を捉え、ポリシー違反を認識するというLLMの本質的な認識を暗黙的に反映している。 この知見に基づいて,LLM推論中のPI攻撃を検出する訓練不要フレームワークであるPVDetectorを提案する。 複数のLLMとデータセットにわたる実験により、PVDetectorは最小限の補助的オーバーヘッドで<1\%の偽陰性率を達成し、一貫して最先端の手法より優れていることが示された。 私たちのコードはhttps://github.com/Claresigle/PVDetectorで利用可能です。

関連論文リスト

• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• Detector-Evasive LLM Paraphrasing via Constrained Policy Optimization [27.078441680572254]
  AIテキスト検出器は、パラフレーズやディテクター誘導パラフレーズ攻撃に対して脆弱である。 既存の検出器回避法は、しばしば意味保存の正確な制御を欠いている。 本稿では,新しいGRPOスタイルのグループベースのポリシー更新を施した2次元強化学習アルゴリズムであるDe Detector Evasion Policy Optimization (DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-29T22:19:28Z)
• AIPO: Learning to Reason from Active Interaction [54.10819421625103]
  AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。 AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
  論文  参考訳（メタデータ） (2026-05-08T19:06:55Z)
• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis [24.51410516475904]
  The Prompt Injection (PI) landscape, including attack, Defenses, and their evaluation practices。 我々は,コンテキストに依存したインタラクション設定下でエージェントの振る舞いを体系的に評価する新しいベンチマークであるAgentPIを紹介する。 我々は,文脈依存推論が不可欠である現実的なエージェント設定に一般化することができないが,文脈依存的入力を抑えることで,既存のベンチマークにおいて多くの防御が有効であることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:47:10Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• Training-Free Policy Violation Detection via Activation-Space Whitening in LLMs [21.5603664964501]
  本稿では,政策違反検出をアウト・オブ・ディストリビューション検出問題として扱う,トレーニングフリーで効率的な手法を提案する。 ホワイトニング技術にインスパイアされた線形変換を用いて、モデルの隠れたアクティベーションをデコレーションし、平均と単位の分散をゼロに標準化する。 挑戦的な政策ベンチマークでは、既存のガードレールと微調整された推論モデルの両方を超越して、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2025-12-03T17:23:39Z)
• eBPF-PATROL: Protective Agent for Threat Recognition and Overreach Limitation using eBPF in Containerized and Virtualized Environments [0.23332469289621782]
  eBPF-PATROLは、コンテナ化された環境でポリシーを監視し、強制する軽量ランタイムセキュリティエージェントである。 eBPF-PATROLは、リバースシェル、特権エスカレーション、コンテナエスケープのようなリアルタイム境界違反を検出し、防止する。
  論文  参考訳（メタデータ） (2025-11-22T18:51:36Z)
• Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
  オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。 プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。 既存の検出手法が不整合性を示すか,不整合性を示すかを示す。 マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T18:59:52Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。